Sicherheitsprüfung von KI-Anwendungen

Large Language Models (LLMs) sind in kurzer Zeit vom Experiment zum festen Bestandteil von Geschäftsprozessen geworden: als Chatbot im Kundenservice, als Assistent mit Zugriff auf interne Wissensdatenbanken oder als KI-Agent, der eigenständig Aktionen in IT-Systemen ausführt. Mit diesen Anwendungen entstehen neue Angriffsflächen, die klassische Penetrationstests nur teilweise abdecken. Eine KI-Anwendung verarbeitet natürliche Sprache als Eingabe, ihr Verhalten ist nicht vollständig deterministisch, und häufig verfügt sie über weitreichende Berechtigungen auf Daten und Schnittstellen.

Wir prüfen KI-Anwendungen mit derselben methodischen Sorgfalt wie klassische Applikationen und ergänzen unser Vorgehen um KI-spezifische Angriffstechniken.

Penetrationstests und Red Teaming von LLM-Anwendungen:
Wir prüfen Chatbots, RAG-Systeme (Retrieval Augmented Generation) und KI-Agenten aus der Perspektive eines Angreifers. Schwerpunkte sind:

• Direkte und indirekte Prompt Injection, etwa über manipulierte Dokumente, E-Mails oder Webseiten
• Abfluss vertraulicher Daten aus Trainingsdaten, Wissensbasen oder System-Prompts
• Jailbreaks und Umgehung von Schutzmechanismen
• Unsichere Weiterverarbeitung von Modellausgaben in nachgelagerten Systemen
• Missbrauch von Tool- und Schnittstellenberechtigungen durch KI-Agenten

Als Prüfgrundlage nutzen wir die OWASP Top 10 for LLM Applications sowie die Angriffstechniken aus MITRE ATLAS. Im Rahmen eines Red Teamings simulieren wir zudem realistische Angriffsszenarien über mehrere Schritte, in denen die KI-Anwendung als Einstiegspunkt in Ihre weitere IT-Landschaft dient.

Sicherheitsarchitektur-Review für KI-Lösungen:
Viele Risiken entstehen nicht im Modell selbst, sondern in seiner Einbettung. Wir bewerten die Architektur Ihrer KI-Lösung hinsichtlich Berechtigungskonzepten, Schnittstellen, Datenflüssen und der Trennung von Vertrauensbereichen. Ein Schwerpunkt liegt auf agentischen Systemen, die eigenständig Aktionen ausführen: Wir prüfen, welche Systeme ein Agent erreichen kann, mit welchen Rechten er handelt, an welchen Stellen eine menschliche Freigabe vorgesehen ist und wie sich die Auswirkungen einer erfolgreichen Manipulation begrenzen lassen. Das Review eignet sich besonders für frühe Projektphasen, in denen Architekturentscheidungen noch mit geringem Aufwand angepasst werden können.

Wie bei allen unseren technischen Sicherheitsprüfungen erhalten Sie einen ausführlichen Abschlussbericht mit risikobewerteten Ergebnissen und konkreten Maßnahmenempfehlungen. Auf Wunsch stellen wir die Ergebnisse in den Kontext regulatorischer Anforderungen, etwa der Vorgaben des EU AI Acts zu Robustheit und Cybersicherheit.

Gerne stehen wir für ein unverbindliches Gespräch zur Verfügung, um Prüfumfang und Vorgehen für Ihre KI-Anwendung gemeinsam abzustimmen.