KI-SICHERHEIT · OWASP TOP 10 FÜR LLM-ANWENDUNGEN
Was macht ein Sprachmodell angreifbar, und was hilft dagegen?
Ein Sprachmodell unterscheidet nicht zuverlässig zwischen einer Anweisung des Nutzers und einem Satz, den es gerade in einem fremden Dokument liest. Aus dieser einen Eigenschaft leitet die OWASP Top 10 für LLM-Anwendungen 2025 zehn Risikokategorien ab, angeführt von Prompt Injection. Im Mittelstand treffen sie vor allem zwei Fälle: einen internen Assistenten mit Dokumentzugriff und einen Agenten mit eigenen Werkzeugrechten.
Kurz beantwortet
Was ist Prompt Injection bei einer KI-Anwendung?
Prompt Injection ist ein Angriff, bei dem Text einem Sprachmodell Anweisungen unterschiebt, die seine eigentliche Aufgabe überlagern. Direkte Injection tippt eine Person selbst ein. Indirekte Injection steckt in Inhalten, die das Modell verarbeitet: einer E-Mail, einem hochgeladenen Dokument, einer Webseite. OWASP führt Prompt Injection seit zwei Auflagen in Folge als Rang eins der LLM-Risiken.
Weiterlesen
Für ein Unternehmen ist die indirekte Form die relevantere, weil ein Assistent, der eingehende Post oder Dokumente zusammenfasst, zwangsläufig Text von Fremden liest.
Einen vollständigen Schutz auf Modellebene gibt es derzeit nicht. Sinnvoll ist die Annahme, dass eine Injection gelegentlich gelingt, und die Begrenzung dessen, was sie dann auslösen darf.
Wie lautet die OWASP Top 10 für LLM-Anwendungen 2025 im Überblick?
Die OWASP Top 10 für LLM-Anwendungen 2025 reicht von Prompt Injection über sensible Informationsoffenlegung, Lieferkettenrisiken, Daten- und Modellvergiftung, unsachgemäße Ausgabeverarbeitung, übermäßige Handlungsfreiheit und Systemprompt-Leckage bis zu Schwächen bei Vektoren und Embeddings, Fehlinformation und unbegrenztem Ressourcenverbrauch. Für einen internen Assistenten mit Dokumentzugriff sind die ersten sechs Kategorien am unmittelbarsten relevant.
Weiterlesen
Gegenüber der vorherigen Auflage rückte die sensible Informationsoffenlegung von Rang sechs auf Rang zwei vor, weil Assistenten zunehmend mehrere Datenquellen gleichzeitig durchsuchen.
Die Liste beschreibt Risikokategorien, keine fertigen Prüfsummen. Welche davon in einem konkreten System zutreffen, hängt an dessen Datenzugriff und Werkzeugrechten.
Was ändert sich, wenn ein Assistent Werkzeuge bedienen darf?
Sobald ein Assistent Werkzeuge aufrufen darf, wird aus Prompt Injection ein Handlungsproblem statt nur eines Textproblems: OWASP nennt das übermäßige Handlungsfreiheit, wenn ein System mehr Funktionen, Rechte oder Autonomie erhält, als seine Aufgabe erfordert. Ein manipuliertes Modell mit Schreibrechten kann eine Aktion auslösen, ein rein lesendes Modell kann höchstens eine falsche Antwort liefern.
Weiterlesen
Heikel ist vor allem die Kombination aus drei Eigenschaften: Zugriff auf private Daten, Kontakt mit fremden Inhalten und die Möglichkeit, nach außen zu wirken, etwa per Versand oder Zahlung.
Fehlt eine dieser drei Eigenschaften, wird der Weg vom manipulierten Text zur schädlichen Aktion deutlich weiter.
Wie begrenzt man den Schaden, wenn ein Assistent manipuliert wird?
Den Schaden begrenzt das Prinzip der geringsten Rechte: Jedes Werkzeug erhält nur die Rechte seiner Aufgabe, lesende Werkzeuge bekommen keine Schreibrechte, und Aktionen mit Außenwirkung wie Versand oder Löschung verlangen eine Bestätigung durch einen Menschen. Zugangsdaten liegen beim Werkzeug, nie im Kontext des Modells, wo eine Injection sie auslesen könnte.
Weiterlesen
Erweiterungen wie Plugins oder Connectors verdienen dieselbe Prüfung wie jede andere Software mit Zugriff auf eigene Systeme, weil ihre Werkzeugbeschreibungen selbst im Kontext des Modells landen.
Diese Maßnahmen ersetzen keine Filter, sie verkleinern nur, was im schlechtesten Fall passieren kann, wenn ein Filter versagt.
Wie testet man eine KI-Anwendung auf diese Schwächen?
Getestet wird mit einem festen Satz von Angriffsfällen, der bei jeder Änderung an Anweisungen, Modell oder Werkzeugen erneut läuft: direkte und indirekte Injections, Versuche, Systemanweisungen oder fremde Dokumente auszulesen, und Eingaben, die unerwünschte Werkzeugaufrufe auslösen sollen. Vor einem größeren Ausbau ergänzt gezieltes Red-Teaming diesen Testsatz.
Weiterlesen
Ein solcher Testsatz wächst mit dem System. Jeder auffällige Fund aus dem Betrieb wird ein neuer Testfall, damit dieselbe Lücke nach einem Modellwechsel nicht unbemerkt zurückkehrt.
Red-Teaming heißt, dass jemand mit dem Blick eines Angreifers versucht, ein System zu missbrauchen, bevor es Nutzer erreicht. Die Funde sind selten spektakulär: ein Werkzeug mit zu breiten Rechten, ein Protokoll mit Klartextdaten.
01
Was steckt hinter den einzelnen Kategorien der OWASP Top 10?
Die OWASP Top 10 für LLM-Anwendungen 2025 ordnet zehn Risikokategorien, von Prompt Injection über Informationsoffenlegung, Lieferkette und Datenvergiftung bis zu unsachgemäßer Ausgabeverarbeitung, übermäßiger Handlungsfreiheit, Systemprompt-Leckage, Schwächen bei Vektoren und Embeddings, Fehlinformation und unbegrenztem Ressourcenverbrauch. Für einen dokumentenlesenden Assistenten sind vor allem die ersten sechs unmittelbar spürbar.
Die OWASP Gen AI Security Project aktualisiert diese Liste mit Blick auf reale Vorfälle und die wachsende Verbreitung agentischer Systeme. Gegenüber der vorherigen Fassung wurden zwei Kategorien neu aufgenommen und mehrere umsortiert.
| Code | Risiko | Kurz erklärt |
|---|---|---|
| LLM01 | Prompt Injection | Text schiebt dem Modell Anweisungen unter, die seine eigentliche Aufgabe überlagern. |
| LLM02 | Sensible Informationsoffenlegung | Das System gibt personenbezogene, vertrauliche oder Zugangsdaten preis, oft über mehrere verkettete Abfragen. |
| LLM03 | Lieferkettenrisiken | Fremde Modelle, Datensätze, Pakete oder Plugins bringen verwundbare oder manipulierte Bestandteile mit. |
| LLM04 | Daten- und Modellvergiftung | Manipulierte Trainings- oder Kontextdaten verändern das Verhalten eines Modells gezielt. |
| LLM05 | Unsachgemäße Ausgabeverarbeitung | Eine ungeprüft weiterverarbeitete Modellausgabe löst eine Schwachstelle im nachgelagerten System aus. |
| LLM06 | Übermäßige Handlungsfreiheit | Ein System erhält mehr Funktionen, Rechte oder Autonomie, als seine Aufgabe erfordert. |
| LLM07 | Systemprompt-Leckage | Vertrauliche Systemanweisungen oder darin enthaltene Geheimnisse werden über die Antwort sichtbar. |
| LLM08 | Schwächen bei Vektoren und Embeddings | Fehler beim Erzeugen, Speichern oder Abrufen von Embeddings öffnen Wege zu falschen oder fremden Inhalten. |
| LLM09 | Fehlinformation | Das Modell erzeugt plausibel klingende, aber falsche Aussagen, die ungeprüft weiterverwendet werden. |
| LLM10 | Unbegrenzter Ressourcenverbrauch | Fehlende Begrenzungen bei Anfragen oder Kontextlänge erlauben überhöhten Verbrauch oder Kosten. |
02
Wie gelangt eine untergeschobene Anweisung bis zur Aktion?
Abdelnabi, Greshake und Kolleginnen zeigten 2023 in der ersten systematischen Untersuchung indirekter Prompt Injection, dass ein Agent, der Webseiten oder Dokumente liest, Anweisungen aus genau diesen Inhalten übernehmen kann, ohne dass eine Person sie eingegeben hat. Der Weg von einer solchen Anweisung bis zu einer tatsächlichen Aktion läuft über mehrere Stationen.
- 01Fremder InhaltE-Mail, PDF, Webseite
- 02Wird vom Assistenten gelesenals Teil der Aufgabe
- 03Landet im Kontext des Modellsununterscheidbar von echten Anweisungen
- 04Modell folgt der Anweisungwenn kein Filter greift
- 05Werkzeugaufrufsofern das Modell dazu berechtigt ist
- 06Aktion mit AußenwirkungVersand, Änderung, Abfluss
Jede dieser Stationen ist ein möglicher Eingriffspunkt: ein Filter auf die eingelesenen Inhalte, eine Prüfung der Modellausgabe vor der Ausführung, oder eine Bestätigung durch einen Menschen vor der letzten Stufe.
03
Was unterscheidet einen reinen Chat-Assistenten von einem Agenten mit Werkzeugrechten?
Ein reiner Chat-Assistent liest und antwortet. Ein Agent liest, entscheidet und handelt, indem er Werkzeuge aufruft: eine Suche, einen Versand, eine Buchung. Diese zusätzliche Fähigkeit ist genau das, was OWASP unter LLM06 als übermäßige Handlungsfreiheit beschreibt, wenn die Rechte des Werkzeugs die Aufgabe übersteigen.
Angriffsfläche nach Systemtyp
| Kriterium | Chat-Assistent ohne Werkzeuge | Agent mit Werkzeugrechten |
|---|---|---|
| Wirkung einer erfolgreichen Injection | Eine falsche oder irreführende Antwort | Eine tatsächliche Aktion, etwa Versand oder Änderung |
| Zugangsdaten | Meist nicht relevant | Müssen beim Werkzeug liegen, nie im Modellkontext |
| Nötige Gegenmaßnahme | Geprüfte, als Text gekennzeichnete Ausgabe | Geringste Rechte je Werkzeug, Bestätigung vor Aktionen mit Außenwirkung |
| Relevante OWASP-Kategorie | LLM01, LLM09 | LLM01, LLM06, LLM05 |
Ein Beispiel: Ein Agent, der Rechnungen aus eingehenden E-Mails erfasst und ins Buchhaltungssystem einträgt, kombiniert Dokumentzugriff, Fremdinhalte und eine Aktion mit Außenwirkung, genau die Kombination, die eine Injection am wirksamsten macht.
Zugriff auf private Daten
Der Assistent sieht Dokumente, Postfächer oder Datensätze, die nicht für die Öffentlichkeit bestimmt sind.
Kontakt mit fremden Inhalten
Der Assistent liest Text, den jemand außerhalb der eigenen Organisation verfasst hat, etwa eine eingehende E-Mail oder ein hochgeladenes Dokument.
Möglichkeit zur Außenwirkung
Der Assistent kann selbst etwas auslösen: eine Nachricht versenden, einen Datensatz ändern oder eine Zahlung anstoßen.
04
Welche Architekturpunkte begrenzen den Schaden im Ernstfall?
Den Schaden begrenzen enge Werkzeugrechte, getrennte Lese- und Schreibrechte, eine Bestätigung durch einen Menschen vor Aktionen mit Außenwirkung, Zugangsdaten außerhalb des Modellkontexts, eine Prüfung jeder Ausgabe vor der Weiterverarbeitung und ein Protokoll mit eigenen Zugriffsrechten. Keine dieser Maßnahmen wirkt allein, gemeinsam verkleinern sie, was ein manipuliertes System anrichten kann.
Checkliste
Architekturpunkte gegen Prompt Injection und ihre Folgen
05
Was hält das BSI zu generativer KI in Unternehmen fest?
Das Bundesamt für Sicherheit in der Informationstechnik veröffentlichte 2025 die Publikation "Generative KI-Modelle: Chancen und Risiken für Industrie und Behörden". Sie richtet sich an Unternehmen und Behörden, die generative Modelle, von Sprachmodellen bis zu Bild- und Videogeneratoren, in ihre Arbeitsabläufe integrieren wollen, und beschreibt dafür ein grundlegendes Sicherheitsbewusstsein sowie eine systematische Risikoanalyse vor dem Einsatz.
06
Welche Annahmen zur KI-Sicherheit halten einer Prüfung nicht stand?
Vier Annahmen zur KI-Sicherheit, geprüft
Nein.
Ein Systemprompt senkt die Erfolgsquote einfacher Angriffe, lässt sich aber mit geschickter Formulierung umgehen. Er ist eine Schicht unter mehreren, keine Grenze für sich allein.
Nur teilweise.
Gegen Datenabfluss an einen externen Anbieter, ja. Gegen Prompt Injection ist der Betriebsort unerheblich, dafür zählen Werkzeugrechte und Architektur.
Nein.
Die häufigste Quelle einer indirekten Injection ist normaler Geschäftsverkehr: eine E-Mail, ein Dokument, ein Ticketkommentar, den der Assistent im Rahmen seiner eigentlichen Aufgabe liest.
Nicht zuverlässig.
Eine erfolgreiche Injection kann sich als unauffällig formulierte, plausibel klingende Antwort zeigen. Nur ein gezielter Testsatz und Protokolle mit ausreichender Tiefe machen einen Vorfall überhaupt sichtbar.
Belege aus unserer Arbeit
- Signal Agentische Harnesses erweitern: Skills, Artefakte, Commands und Connectors Kartiert Skills, Hooks und Connectors eines Agenten und zeigt, warum jeder Erweiterungspunkt zugleich Angriffsfläche ist. Ansehen
- Signal LangChain, LangGraph, LangSmith, LangFlow: vier Namen, zwei Firmen, eine Entscheidung Zeigt an einer Häufung von Sicherheitslücken, dass ein stabiles Agenten-Framework weiterhin Teil der eigenen Angriffsfläche bleibt. Ansehen
- Signal DSGVO und KI: was verboten ist, was bedingt gilt und was Sie steuern Ordnet ein, welche DSGVO-Bedingungen sich architektonisch steuern lassen: Speicherort, sparsame Aufbewahrung und ein Mensch in der Schleife. Ansehen
- Projekt RegioWizard Zeigt unter jeder Antwort ein Suchprotokoll mit gefundenen und verwendeten Treffern, eine nachvollziehbare Spur statt einer Blackbox. Ansehen
VERTRAUT VON TEAMS, DIE KI ERNST NEHMEN
Ich habe einen Auftrag zur Programmierung eines RAG für einen LiveAvatar ausgeschrieben. Das Angebot der iiterate GmbH war das beste und ich habe diese Wahl nie bereut. Die Aufgabe wurde zu 100% zu meiner Zufriedenheit erlegt. Das Preis-Leistungsverhältnis von iiterate in diesem Auftrag war exzellent. Ich kann jedem anderen Unternehmen die Zusammenarbeit mit iiterate mit besten Gewissen empfehlen.
Wir haben iiterate mit dem Konzept einer skalierbaren AR-Anwendung mit zahlreichen Funktionen angesprochen. Das Team von iiterate ist sehr einfallsreich und hat mit uns zusammengearbeitet, um die AR-Lösung zu finden, die am besten zu unseren Bedürfnissen passt. Von der Gestaltung der Benutzeroberfläche bis zur Auslieferung der endgültigen Anwendung haben sie in jeder Phase ein hohes Maß an Qualität und Flexibilität sichergestellt. Wir sind begeistert, diese Anwendung zu starten, und wir glauben, dass diese Anwendung unserer Marke helfen wird, sich erfolgreich in unserer Nische zu positionieren. Wir empfehlen iiterate mit voller Überzeugung jedem, der nach maßgeschneiderten AR Lösungen sucht.
Wir möchten uns einen Moment Zeit nehmen, um unsere Wertschätzung für die herausragende Arbeit auszudrücken, die Sie bei der Entwicklung unserer Plattform bei E4RTH geleistet haben. Von Anfang an hat Ihr Team ein hohes Maß an Professionalität, Engagement und Fachwissen gezeigt. Besonders beeindruckt waren wir von Ihrem proaktiven Ansatz, Sie haben Ihre eigenen kreativen Ideen und Lösungen eingebracht, die das Endergebnis erheblich verbessert haben. Es war eine Freude, mit einem Team zusammenzuarbeiten, das nicht nur umsetzt, sondern auch aktiv dazu beiträgt, das Projekt noch besser zu machen. Wir sind mit Ihrem Service sehr zufrieden und freuen uns darauf, unsere Zusammenarbeit in Zukunft fortzusetzen. Vielen Dank für Ihre ausgezeichnete Arbeit!
The great strength of iiterate is the open-mindedness and ability to explore this rapidly shifting technology. If you're looking for someone to guide you in ground-breaking technical work, I really recommend these guys.
Our project was an urgent need and when we reached out to Aashwin, he helped set the right track and achievable goals in the available time frame. The outcome and the final video was loved with positive remarks at our demonstration of the product and I would wholeheartedly credit Aashwin and his expertise for helping us communicate our ideas in a straightforward manner despite the complex nature of our cybersecurity field. Working with him was a joy, and his skills and ideas can be seen in the final results.
Häufige Fragen
Reicht ein guter Systemprompt als Schutz gegen Prompt Injection?
Nein. Ein Systemprompt senkt die Erfolgsquote einfacher Angriffe, lässt sich aber mit geschickter Formulierung umgehen. Er ist eine Schicht unter mehreren. Die belastbaren Grenzen liegen in Rechten, Freigaben und der Prüfung von Ausgaben, nicht in der Formulierung der Anweisung.
Sind lokal betriebene Modelle sicherer als Cloud-Modelle?
Gegen Datenabfluss an einen Anbieter ja, weil Eingaben und Dokumente das eigene Netz nicht verlassen. Gegen Prompt Injection nicht, dafür ist der Betriebsort unerheblich. Ein lokales Modell mit weitreichenden Werkzeugrechten ist genauso manipulierbar wie ein gehostetes.
Dürfen Beschäftigte öffentliche KI-Chats mit Firmendaten nutzen?
Das regelt am besten eine interne Richtlinie, die festlegt, welche Dienste mit welchen Daten erlaubt sind. Ohne Regelung landen Vertragsentwürfe und Kundendaten leicht in privaten Konten. Ein freigegebener interner Assistent wirkt dabei meist besser als ein reines Verbot.
Wann sollte ein KI-System erneut auf Sicherheit getestet werden?
Bei jeder Änderung, die das Verhalten beeinflusst: neues Modell, geänderte Systemanweisungen, neues Werkzeug, neue Datenquelle. Ein automatisierter Testsatz macht das ohne großen Aufwand möglich. Ein ausführlicheres Red-Teaming lohnt sich vor dem Start und vor größeren Erweiterungen.
Warum steht sensible Informationsoffenlegung 2025 auf Rang zwei statt Rang sechs?
Weil Assistenten zunehmend mehrere Datenquellen gleichzeitig durchsuchen und dabei Inhalte kombinieren können, auf die eine einzelne Anfrage keinen Zugriff hätte. OWASP begründet den Anstieg mit dieser wachsenden Verkettung von Abfragen in realen Systemen.
Was bedeutet Systemprompt-Leckage konkret?
Systemprompt-Leckage bedeutet, dass die verdeckten Anweisungen oder darin enthaltenen Geheimnisse eines Systems über eine Antwort sichtbar werden, etwa wenn ein Modell dazu gebracht wird, seine eigenen Anweisungen wiederzugeben. Vertrauliche Angaben gehören deshalb nicht in den Systemprompt, sondern in eine separate, geschützte Konfiguration.
Reicht es, nur den Chatverlauf zu protokollieren?
Für eine Fehlersuche ja, für eine Sicherheitsprüfung nicht ausreichend. Sinnvoll sind zusätzlich Protokolle der aufgerufenen Werkzeuge und ihrer Parameter, weil genau dort eine schädliche Aktion sichtbar wird, nicht nur im sichtbaren Chatverlauf.
Quellen
- 01 OWASP Top 10 for LLM Applications 2025 OWASP Gen AI Security Project, 2025 · genai.owasp.org
- 02 LLM Risks Archive OWASP Gen AI Security Project, 2025 · genai.owasp.org
- 03 Not What You've Signed Up For: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection ACM Workshop on Artificial Intelligence and Security (arXiv:2302.12173), 2023 · arxiv.org
- 04 InjecAgent: Benchmarking Indirect Prompt Injections in Tool-Integrated Large Language Model Agents arXiv, 2024 · arxiv.org
- 05 Generative KI-Modelle: Chancen und Risiken für Industrie und Behörden Bundesamt für Sicherheit in der Informationstechnik, 2025 · bsi.bund.de
- 06 Aktualisierte Fassung veröffentlicht: Chancen und Risiken großer KI-Sprachmodelle Bundesamt für Sicherheit in der Informationstechnik, 2024 · bsi.bund.de
- 07 Verordnung (EU) 2024/1689, Artikel 4 (KI-Kompetenz) Amt für Veröffentlichungen der Europäischen Union, 2024 · eur-lex.europa.eu
- 08 Verordnung (EU) 2016/679 (Datenschutz-Grundverordnung), Artikel 32 Amt für Veröffentlichungen der Europäischen Union, 2016 · eur-lex.europa.eu
- 09 Orientierungshilfe: Künstliche Intelligenz und Datenschutz Datenschutzkonferenz, 2024 · datenschutzkonferenz-online.de
- 10 Simple Prompt Injection Attacks Can Leak Personal Data Observed by LLM Agents During Task Execution arXiv, 2025 · arxiv.org
Bereit, KI souverän einzusetzen?
Vereinbaren Sie ein unverbindliches Erstgespräch. Wir besprechen den ersten Anwendungsfall, der sich für Sie lohnt.
Sicherheitsfragen besprechenWeiterführende Seiten
Vertiefen Sie einzelne Standorte und Lösungen unserer KI-Beratung.
Regionen
Themen
Aus unseren Signalen
Praxisnahe Einblicke zu souveräner KI, RAG und Compliance.
