KI-AGENTEN · GRENZEN UND FREIGABEN

KI-Agenten im Unternehmen: wo die Grenze für unbeaufsichtigtes Handeln liegt

Ein KI-Agent bearbeitet eine Aufgabe in mehreren Schritten selbstständig, statt nur eine Frage zu beantworten. Das macht ihn nützlich für wiederkehrende Büroarbeit und zugleich zu einem Risiko, sobald ein Schritt nach außen wirkt. Wer seine Grenzen vorab festlegt, weiß, was ein Agent allein darf, wo eine Freigabe steht und wie sich ein Lauf im Nachhinein nachvollziehen lässt.

Ein weißer Roboterarm auf einer Schiene zwischen zwei Toren, das nahe offen, das ferne geschlossen mit einem wartenden Dokument und einer orange leuchtenden FugeKI-GENERIERT
AKTUALISIERT
13. September 2026
LESEZEIT
6 Min.
THEMA
KI-Agenten
Protokoll für Werkzeuge
Das Model Context Protocol vereinheitlicht Werkzeuganbindungen, veröffentlicht von Anthropic am 25. November 2024, seit Dezember 2025 unter dem Dach der Linux Foundation (Anthropic, 2024; Linux Foundation, 2025).
Wiederholte Erfolgsquote
Im Benchmark τ-bench lösten führende Modelle Kundendienst-Aufgaben aus dem Einzelhandel in unter 25 Prozent der Fälle, wenn dieselbe Aufgabe in acht Wiederholungen jedes Mal gelingen musste (Yao u. a., arXiv 2024).
Eigenes Risiko benannt
OWASP führt übermäßige Handlungsmacht als LLM06 der Top 10 für LLM-Anwendungen 2025 und nennt zu viele Rechte und zu viel Autonomie als Ursachen.
Grundsatz aus der Forschung
Anthropic rät im eigenen Leitfaden zum Bau von Agenten, mit der einfachsten Lösung zu beginnen und Komplexität nur hinzuzufügen, wenn sie nötig wird (Anthropic, 2024).

Wodurch unterscheidet sich ein KI-Agent von einem Chatbot oder einem festen Workflow?

Ein Chatbot beantwortet eine Nachricht und wartet auf die nächste. Ein fester Workflow folgt einer vorher festgelegten Abfolge. Ein KI-Agent bekommt dagegen ein Ziel und wählt den Weg dorthin selbst: Er sucht, ruft ein Werkzeug auf, liest das Ergebnis und entscheidet über den nächsten Schritt.

Für ein Unternehmen zählt weniger die Definition als die Folge: Ein Agent trifft während der Arbeit eigene Zwischenentscheidungen. Deshalb sollten seine Grenzen feststehen, bevor er zum ersten Mal läuft, nicht erst, wenn ein Zwischenschritt schiefgegangen ist.

Welche Büroaufgaben eignen sich im Mittelstand tatsächlich für einen Agenten?

Geeignet sind wiederkehrende Aufgaben mit mehreren Schritten und uneinheitlichen Eingaben, bei denen ein Mensch das Ergebnis rasch prüfen kann: Recherche über verstreute Quellen, Vorsortierung eingehender Anfragen, das Zusammenstellen von Unterlagen aus mehreren Systemen. Ein Fehler im Zwischenschritt darf dabei keinen Schaden anrichten, bevor jemand draufsieht.

Weniger geeignet sind seltene Vorgänge mit hartem rechtlichem Gewicht im Einzelfall und Eingaben, die ohnehin immer gleich aussehen. Dort liefert ein fester Ablauf dasselbe Ergebnis günstiger und vorhersagbarer.

Wie greift ein Agent auf firmeneigene Systeme zu, ohne mehr zu dürfen als nötig?

Ein Agent nutzt beschriebene Werkzeuge mit engem Aufgabenbereich, etwa Kunde suchen oder Entwurf anlegen, statt eines allgemeinen Datenbankzugangs. Jedes Werkzeug läuft mit einem eigenen, knapp bemessenen Dienstkonto, lesend wo möglich. Ausgeführt wird ein Aufruf von Ihrer Software, nicht vom Sprachmodell selbst, das nur den Aufruf vorschlägt.

Ein Werkzeug namens „Datenbankzugriff“ mit freiem Abfragefeld verleitet zu Aufrufen, die niemand vorhergesehen hat. Ein Werkzeug „Rechnung suchen“ mit festem Wertebereich lässt nur zu, was gewollt ist.

Wie geht ein Agent mit Inhalten um, die er nur liest, aber nicht selbst verfasst hat?

Ein Agent kann durch Text getäuscht werden, den er verarbeitet: Eine E-Mail oder ein Dokument kann Anweisungen enthalten, die seine eigentliche Aufgabe überlagern, ein Angriff, der als Prompt Injection bekannt ist. Enge Werkzeugrechte begrenzen, was eine solche eingeschleuste Anweisung überhaupt bewirken kann, selbst wenn sie befolgt wird.

Deshalb zählt bei jedem Werkzeug weniger, ob es bequem ist, sondern was im ungünstigsten Fall passiert, wenn der Agent es zur falschen Zeit mit falschen Werten aufruft.

01

Wie läuft ein KI-Agent im Alltag von Auftrag bis Ergebnis ab?

Ein Agent durchläuft eine Schleife: Er erhält ein Ziel, plant den nächsten Schritt, ruft ein Werkzeug auf, liest das Ergebnis zurück und entscheidet, ob er weiterarbeitet, eine Rückfrage stellt oder abschließt. Bei einem Schritt mit Außenwirkung hält die Schleife an und wartet auf eine Bestätigung, bevor sie fortfährt.

Die Arbeitsschleife eines Agenten
  1. 01AuftragZiel und erlaubte Werkzeuge
  2. 02PlanenNächsten Schritt wählen
  3. 03Werkzeug aufrufenEnger, geprüfter Aufruf
  4. 04Ergebnis lesenZurück in den Arbeitsspeicher
  5. 05Freigabe oder AbschlussJe nach Aktionsklasse

Wie diese Schleife technisch aufgebaut ist und mit welchen Fehlerbildern sie kämpft, vertieft KI-Agenten in der Wissensarbeit. Für einen Mittelstandsbetrieb zählt vorher eine andere Frage: was ein Agent überhaupt entscheiden darf.

02

Was darf ein KI-Agent in einem Mittelstandsunternehmen niemals unbeaufsichtigt auslösen?

Niemals unbeaufsichtigt bleiben sollten Zahlungen und Überweisungen, das Löschen von Datensätzen, ausgehende Nachrichten an Kundschaft und Änderungen an Stammdaten wie Preisen, Adressen oder Bankverbindungen. Jede dieser Handlungen wirkt nach außen oder lässt sich schwer rückgängig machen, und jede sollte im Code eine Bestätigung verlangen, unabhängig davon, wie sicher sich das Modell zeigt.

AktionsklasseBeispielWarum nicht unbeaufsichtigt
Zahlungen und ÜberweisungenEine Rechnung anweisen, ein Guthaben erstattenFinanzieller Schaden lässt sich nicht ohne Weiteres zurückholen
LöschungenEinen Kundendatensatz oder eine Bestellung entfernenEin gelöschter Eintrag ist ohne Sicherung nicht wiederherstellbar
Ausgehende KundenkommunikationEine Antwort an eine Kundin versendenEine falsche Zusage wirkt sofort nach außen
StammdatenänderungenPreis, Lieferadresse oder Bankverbindung ändernFehler wirken auf alle folgenden Vorgänge weiter
Aktionsklassen, die eine Bestätigung durch einen Menschen brauchen

Die Grenze verläuft nicht an der Aufgabe, sondern an der Wirkung. Ein Agent darf eine Rechnung vollständig vorbereiten, ausgelöst wird sie erst nach einem Klick durch eine zuständige Person.

03

Was gehört auf die Checkliste, bevor ein Agent produktiv arbeitet?

Checkliste

Vor dem ersten produktiven Lauf

0 von6

Für das Team, das einen Agenten freigibt. Die Liste speichert nichts.

04

Welche Annahmen über KI-Agenten führen im Mittelstand in die Irre?

Vier Annahmen im Praxistest

Wo feste Regeln der uneinheitlichen Sprache eines Vorgangs nicht mehr gewachsen sind und ein Agent trotzdem nur an einer engen Stelle arbeiten soll, zeigt Prozessautomatisierung mit n8n den Übergang zwischen festem Ablauf und Sprachmodell. Angriffe über eingeschleuste Anweisungen und ihre Gegenmittel behandelt KI-Sicherheit.

Belege aus unserer Arbeit

VERTRAUT VON TEAMS, DIE KI ERNST NEHMEN

Häufige Fragen

Braucht jeder KI-Agent eine eigene Genehmigungsstufe?

Nicht jeder Schritt, aber jede Aktionsklasse. Lesende und vorbereitende Schritte laufen ohne Rückfrage, protokolliert. Schritte mit Außenwirkung oder ohne Rückweg brauchen eine Bestätigung, unabhängig davon, wie oft der Agent sie zuvor korrekt ausgeführt hat.

Kann ein Agent versehentlich eine Zahlung auslösen?

Nur, wenn das zugehörige Werkzeug das technisch zulässt. Trennt man das Vorbereiten einer Zahlung vom Auslösen und verlangt für Letzteres eine Bestätigung im Code, kann ein Agent den Vorgang anstoßen, aber nicht abschließen. Diese Trennung ist eine Entwurfsentscheidung, keine Eigenschaft des Modells.

Was passiert, wenn ein Agent eine Anweisung aus einer gelesenen E-Mail befolgt?

Im ungünstigsten Fall versucht er, etwas zu tun, das nicht seiner eigentlichen Aufgabe entspricht. Enge Werkzeugrechte und eine Freigabe vor Wirkung nach außen begrenzen den Schaden, selbst wenn die eingeschleuste Anweisung das Modell kurzzeitig überzeugt.

Wie viele Werkzeuge sollte ein einzelner Agent bekommen?

So wenige, wie die konkrete Aufgabe verlangt. Jedes zusätzliche Werkzeug vergrößert die Möglichkeit einer Verwechslung und die Angriffsfläche. Bewährt hat sich, Werkzeuge nach eng umrissenen Aufgaben zu schneiden statt nach einem allgemeinen Systemzugang.

Reicht ein gutes Protokoll aus, um einen Agenten sicher zu betreiben?

Nein, aber es ist die Voraussetzung, um Vorfälle überhaupt zu erkennen. Ein Protokoll erklärt im Nachhinein, was passiert ist. Damit wenig passiert, das erklärt werden muss, kommen enge Rechte und Freigabepunkte vor jedem Schritt mit Außenwirkung dazu.

Kann ein KI-Agent auch auf eigener Hardware laufen?

Ja. Offene Sprachmodelle mit Werkzeugaufrufen lassen sich auf eigener Infrastruktur betreiben, ebenso die Werkzeuge und das Protokoll. Bei langen, verzweigten Aufgaben unterscheiden sich Modelle in der Zuverlässigkeit deutlich, weshalb ein Test an eigenen Aufgaben vor die endgültige Wahl gehört.

Quellen

  1. 01 Introducing the Model Context Protocol Anthropic, 2024 · anthropic.com
  2. 02 Linux Foundation Announces the Formation of the Agentic AI Foundation (AAIF) Linux Foundation, 2025 · linuxfoundation.org
  3. 03 Building Effective AI Agents Anthropic, 2024 · anthropic.com
  4. 04 LLM06:2025 Excessive Agency OWASP Gen AI Security Project, 2025 · genai.owasp.org
  5. 05 τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains arXiv, 2024 · arxiv.org
  6. 06 Model Context Protocol: Specification Model Context Protocol, 2026 · modelcontextprotocol.io
  7. 07 Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection arXiv, 2023 · arxiv.org

Bereit, KI souverän einzusetzen?

Vereinbaren Sie ein unverbindliches Erstgespräch. Wir besprechen den ersten Anwendungsfall, der sich für Sie lohnt.

Agenten-Vorhaben besprechen

Weiterführende Seiten

Vertiefen Sie einzelne Standorte und Lösungen unserer KI-Beratung.

Aus unseren Signalen

Praxisnahe Einblicke zu souveräner KI, RAG und Compliance.

Arthur C. Clarke

“Jede hinreichend fortgeschrittene Technologie ist von Magie nicht zu unterscheiden.”