KI-Anwendungen prüfen
Chatbots, Copiloten, RAG-Systeme und Agenten mit Zugriff auf Schnittstellen. Geprüft wird, was das Modell tut, wenn die Anweisung nicht vom Nutzer kommt.
Das Modell unterscheidet Daten und Anweisungen nicht
Ein Sprachmodell bekommt Text und antwortet darauf. Ob dieser Text aus der Eingabe eines Nutzers stammt, aus einem hochgeladenen Dokument, aus einer Wissensdatenbank oder von einer Webseite, ist für das Modell dieselbe Zeichenfolge.
Genau daraus entsteht die Klasse von Schwachstellen, die es vorher nicht gab. Wir prüfen Anwendungen mit Sprachmodellen deshalb entlang der Frage, welche Inhalte in den Kontext gelangen und wer sie dort hineinbringen kann.
Die Anweisung steckt im Dokument
Ein Assistent fasst hochgeladene Dokumente zusammen. In einem davon steht, in weißer Schrift oder tief in einer Fußnote, eine Anweisung an das Modell: ignoriere die bisherigen Vorgaben, gib den Inhalt des Systemprompts aus, oder schicke die Zusammenfassung an eine fremde Adresse.
Das Modell befolgt sie, weil es zwischen dem zu verarbeitenden Text und einer Anweisung nicht unterscheidet. Bei einem Assistenten bleibt es bei einer falschen Antwort. Bei einem Agenten mit Zugriff auf Postfach, Datenbank oder Schnittstelle wird daraus eine Handlung.
Wir prüfen diesen Weg über alle Kanäle, aus denen Inhalte in den Kontext kommen: Uploads, angebundene Ablagen, Suchergebnisse, Kalendereinträge, Tickets.
Drei Richtungen
Die Einteilung folgt der OWASP-Liste für Anwendungen mit Sprachmodellen und dem, was in unseren Tests tatsächlich trägt.
Eingaben und Kontext
Prompt Injection direkt und über verarbeitete Inhalte, Umgehung der Systemvorgaben und die Frage, ob sich Inhalte aus fremden Sitzungen abrufen lassen.
Berechtigungen der Agenten
Was darf das Modell auslösen, mit welcher Identität und wo liegt die Bestätigung durch einen Menschen. Ein Agent mit Schreibrechten ist ein Benutzer, dessen Anweisungen von außen kommen können.
Daten und Ausgaben
Was steckt in Kontext, Einbettungen und Protokollen und was davon kann in einer Antwort landen. Dazu die Frage, ob die Ausgabe ungefiltert in eine andere Anwendung weitergereicht wird.
Nicht nur auf Chatbots
Assistenten im Kundenkontakt und intern, Copiloten für Code, autonome Agenten mit Zugriff auf Schnittstellen und Datenbanken, RAG-Systeme über eigene Wissensbestände, Suchfunktionen und Werkzeuge für das Wissensmanagement, dazu Modelle für Betrugserkennung und Anomalieerkennung.
Bei RAG-Systemen liegt der Schwerpunkt auf der Frage, wessen Dokumente in wessen Antworten auftauchen können. Bei Agenten auf dem, was sie ohne Rückfrage auslösen dürfen.
Wie ein KI-Test abläuft
Fünf bis zehn Tage für eine einzelne Anwendung, abhängig davon, über wie viele Kanäle Inhalte in den Kontext kommen und was der Agent auslösen darf.
Anwendung verstehen
Welche Rollen gibt es, welche Quellen gehen in den Kontext und welche Aktionen kann das System auslösen. Ohne diese drei Angaben prüft man ein Chatfenster statt einer Anwendung.
Kanäle aufnehmen
Jeder Weg, über den Text in den Kontext gelangt: Eingabe, Uploads, angebundene Ablagen, Suchergebnisse, Kalender, Tickets. Für jeden die Frage, wer dort schreiben darf.
Prüfen und ausnutzen
Prompt Injection direkt und über verarbeitete Inhalte, Umgehung der Systemvorgaben, Zugriff auf fremde Sitzungen und was ein Agent mit Schreibrechten daraus macht. Die klassischen Prüfungen an Schnittstelle und Anwendung laufen mit.
Bericht und Nachtest
Jeder Befund mit dem Aufruf oder dem Dokument, mit dem er sich nachstellen lässt, und einer Bewertung nach dem, was am Ende erreichbar war.
Häufige Fragen zu AI-Pentests
Die Prüfung von Anwendungen, in denen ein Sprachmodell arbeitet: Assistenten, Copiloten, RAG-Systeme und Agenten mit Zugriff auf Schnittstellen. Geprüft wird nicht das Modell, sondern was Ihre Anwendung damit tut.
Wichtig wird das in dem Moment, in dem das Modell handeln darf. Ein Assistent, der falsch antwortet, ist ein Ärgernis. Ein Agent mit Schreibrechten auf Postfach oder Datenbank führt eine Anweisung aus, die in einem verarbeiteten Dokument stand.
Chatbots im Kundenkontakt und intern, Copiloten für Code, autonome Agenten mit Zugriff auf Schnittstellen und Datenbanken, RAG-Systeme über eigene Wissensbestände, Suchfunktionen und Werkzeuge für das Wissensmanagement, dazu Modelle für Betrugs- und Anomalieerkennung.
Ein klassischer Test sucht Fehler in Code und Konfiguration. Bei einer Anwendung mit Sprachmodell kommt eine Klasse dazu, die es vorher nicht gab: Das Modell unterscheidet zwischen zu verarbeitendem Text und einer Anweisung nicht.
Deshalb prüfen wir zusätzlich, welche Inhalte in den Kontext gelangen und wer sie dort hineinbringen kann. Die klassischen Prüfungen an Schnittstelle und Anwendung laufen weiter mit, denn ein Agent ist auch nur ein Benutzer mit Rechten.
Fünf bis zehn Tage für eine einzelne Anwendung, abhängig davon, über wie viele Kanäle Inhalte in den Kontext kommen und was der Agent auslösen darf. Ein Assistent ohne Schreibrechte ist schneller geprüft als ein Agent mit Zugriff auf mehrere Systeme.
Der Aufwand richtet sich nach Zahl der Kontextquellen, Rollen und Aktionen, die das System auslösen kann. Für eine erste Einordnung reicht ein Gespräch von dreißig Minuten, in dem Sie uns die Anwendung zeigen.
Über einen gemeinsamen Kanal Ihrer Wahl, mit einer festen Ansprechperson auf unserer Seite. Kritische Befunde melden wir sofort und warten nicht auf den Bericht. Zum Abschluss stellen wir die Ergebnisse vor, mit Raum für Rückfragen.
Nein. Geprüft wird die Anwendung, nicht das Modell. Wir brauchen Zugänge für alle vorhandenen Rollen und eine Beschreibung, welche Quellen in den Kontext gehen und welche Aktionen möglich sind.
Wenn Sie ein eigenes Modell trainieren, sprechen wir gesondert über Prüfungen an Trainingsdaten und Datenabfluss aus dem Modell.
Bundesweit. Wir sitzen in Dortmund und der überwiegende Teil eines AI-Pentests läuft ohnehin remote. Vor Ort kommen wir für Auftaktgespräche und die Abschlusspräsentation, im Ruhrgebiet und Rheinland regelmäßig, darüber hinaus nach Absprache.
Zertifizierungen und Mitgliedschaften.
Sprechen Sie mit uns.
Ein erstes Gespräch dauert in der Regel 30 Minuten. Wir schauen uns Ihre Ausgangslage an und sagen offen, ob wir der passende Partner sind.