SecureIQLab WAF Test 2024

WAF-Test mit gravierenden Mängeln

Wir begrüssen jede Bestrebung, ein Sicherheitsprodukt auf seine Effektivität und Effizienz zu testen, statt es nur auf Basis seines Funktionsumfangs zu bewerten (wie viele andere Analysten dies tun). Einen solchen Test hat die Firma SecureIQLab zuletzt im Q1/2024 durchgeführt. Die aktuellen Testergebnisse von SecureIQLab entsprechen allerdings nicht annähernd dem Schutzpotential von Airlock Gateway. Dafür gibt es im Wesentlichen zwei Gründe:

1. Unzureichende Airlock-Konfiguration: Wichtige Schutzfunktionen von Airlock Gateway waren gar nicht aktiv. 
    
2. Fehlende Testszenarien: Der Test beinhaltete in vielen Bereichen keine realistischen Angriffe, die Airlock Gateway hätte abwehren können.

Die Tabelle weiter unten listet konkrete Beispiele für solche Test-Mängel auf.

Oberflächliche Tests gaukeln hohe Sicherheit vor

Die Liste der von SecureIQLab durchgeführten Tests ist auf den ersten Blick beeindruckend lang. Durch zahlreiche Formeln wird zudem der Eindruck einer wissenschaftlich ausgeklügelten Validierung geweckt. Bei genauerem Hinsehen zeigt sich jedoch ein anderes Bild. Die Angriffsszenarien sind teilweise so oberflächlich, dass die Testresultate wenig über die Effektivität einer WAF aussagen. Hier zwei Beispiele dafür:
 

• Zweifelhafte Bot-Tests: 
  Im Bereich Bot Protection wird geprüft, ob die WAF blockiert, wenn sich ein Angreifer über den User-Agent String zu erkennen gibt. Diese "Abwehrmassnahme" ist in der Praxis wenig effektiv, weil sich selbst ein ungeübter Angreifer kaum freiwillig zu erkennen gibt. Ein halbwegs schlauer Bad Bot verschleiert seine Identität und gibt sich als normaler Benutzer aus. Dafür simuliert der Bot einen Browser mit einem unverdächtigen User-Agent String. Smarte Bots interpretieren sogar Javascript-Code und imitieren menschliche Mausbewegungen. Eine aussagekräftigere Messlatte für WAFs wäre, wenn auch solche Bots erkannt würden, die nicht bereits auf eine simple User-Agent-Prüfung hineinfallen.
  Für die Abwehr smarter Bots braucht es eine intelligentere Bot Protection: Denn selbst ein smarter Bot lässt sich von einem menschlichen Benutzer unterscheiden, wenn man Verhaltensmerkmale wie z.B. das Timing und die Reihenfolge der Seitenaufrufe betrachtet. Die verhaltens-basierte Bot Protection analysiert, wie sich die berechtigten Benutzer einer konkreten Anwendung verhalten. Airlock Anomaly Shield berechnet daraus für jede Anwendung ein massgeschneidertes Machine-Learning-Modell, mit dem sich auffällige Verhaltens-Ausreisser schnell erkennen und damit auch unerwünschte Bots blockieren lassen. Leider kam Anomaly Shield in diesem Test nicht zum Einsatz. 
   
• Filter Evasion nicht getestet:
  Der Test bescheinigt vielen WAFs eine hundertprozentige Schutzwirkung gegen Angriffe wie SQL Injection oder XSS, obwohl deren Schutzfilter leicht umgangen werden können. Solche WAFs sind typischerweise optimiert auf öffentlich verfügbare Angriffsbeispiele und bieten keinen effektiven Schutz gegen Filter Evasion Attacks. Damit bezeichnet man Verschleierungstaktiken eines Angreifers, um die Filter einer Web Application Firewall zu umgehen. Airlock Gateway ist aktuell die einzige WAF auf dem Markt, die für jede gefundene Filter Evasion im Rahmen eines seit 4 Jahren laufenden Bug Bounty Programs eine Prämie ausbezahlt und dadurch die sichersten Injection Filter auf dem Markt entwickeln konnte. Dieser Schutz reicht dabei weit über das Blockieren von Bots und Pentesting Tools hinaus und ermöglicht es effektiv, das Ausnützen einer Injection-Vulnerability zu verhindern. Filter Evasion wurde im Test kaum berücksichtigt, wodurch ein verzerrtes Bild in Bezug auf das Schutzniveau der Produkte vermittelt wird.

Diese Beispiele machen deutlich, dass Feigenblätter nicht geeignet sind, um Anwendungsschwächen zu kaschieren. Um komplexe Angriffe in einer WAF abzuwehren, braucht es wesentlich intelligentere Schutzfunktionen und viel Erfahrung. Deshalb analysieren wir seit 20 Jahren Angriffsrisiken auf Webapplikationen und APIs und lassen die Erkenntnisse in unsere Produkte einfliessen. Unser Schweizer Entwicklungsteam investiert laufend in neue Technologien, von denen unsere Kunden regelmässig mit neuen Versionen von Airlock Gateway profitieren.

Wir sind den Testern von SecureIQLab sehr dankbar, dass sie uns auf eine Schwachstelle im Management Interface von Airlock Gateway aufmerksam gemacht haben. Dank der sofortigen Reaktion unseres Entwicklungsteams konnte diese Lücke innerhalb von 48h mit einem Hotfix geschlossen und alle Kunden informiert werden. Die professionelle und schnelle Reaktion ist einer der Gründe für das große Vertrauen unserer Kunden und Partner in uns.

Wir hoffen, dass SecureIQLab unser Feedback bei der nächsten Iteration der WAAP-Tests berücksichtigen wird, damit zukünftige Tests das volle Potential von Airlock ausschöpfen können.