Die Hersteller der stärksten KI-Modelle warnen inzwischen selbst vor dem, was ihre Produkte können. Für Unternehmen steckt dahinter eine sehr praktische Frage: Was darf ein Agent im eigenen Haus eigentlich tun? Wer sie nicht beantwortet, bevor der erste Agent arbeitet, beantwortet sie später im Schadensfall.
Die Hersteller warnen vor ihren eigenen Produkten
Am 24. September 2026 saßen Sam Altman und Dario Amodei vor dem UN-Sicherheitsrat. Die Chefs von OpenAI und Anthropic sprachen über die Risiken der Modelle, die ihre eigenen Häuser bauen. Amodei nannte KI die größte Sicherheitsherausforderung, vor der die Welt heute steht.
Es blieb nicht bei Worten. OpenAI hat sein jüngstes Modell wegen seiner Cyberfähigkeiten zunächst nur ausgewählten Sicherheitsfirmen in die Hand gegeben, und Anthropic hält Claude Mythos seit Monaten genauso zurück.
Im Mittelstand löst das eine berechtigte Frage aus: Was hat das mit uns zu tun? Wir bauen keine Modelle. Wir wollen, dass die Angebotsbestätigung schneller rausgeht.
Die Modelle können mehr, als das Chatfenster zeigt
Die Warnungen sagen vor allem etwas über die Leistung aus. Große Sprachmodelle sind sehr viel weiter, als es der Eindruck vermuten lässt, den die meisten aus ihrem Chatfenster mitnehmen. In der Cybersicherheit erreichen sie einen Stand, den sonst nur erfahrene Spezialisten haben. Sie finden Schwachstellen in fremdem Code und schreiben den Angriff gleich mit.
Genau das macht den Einsatz im Unternehmen anspruchsvoll. Je mehr ein Modell kann, desto wichtiger wird die Frage, was es bei Ihnen tun darf.
Vom Chatfenster zum handelnden Agenten
Solange KI im Chatfenster blieb, war Ausprobieren folgenlos. Prompt rein, Ergebnis raus, drüberlesen, und wenn es nichts taugte, landete es im Papierkorb. Ein schwacher Text. Ein Bild mit sechs Fingern an einer Hand. Viel mehr konnte nicht passieren.
Ein Agent arbeitet anders. Er handelt. Er schreibt die E-Mail und schickt sie ab, legt den Datensatz im CRM an, meldet sich an Systemen an und entscheidet auf halber Strecke, wie es weitergeht. Das beginnt nicht erst bei aufwendigen Multi-Agenten-Systemen, sondern bei jeder Automatisierung, die mehr tut als Schritt A und danach Schritt B.
Sitzen die Leitplanken nicht, landet der Fehler eben nicht im Papierkorb. Er landet beim Kunden, in der Datenbank oder in der Buchhaltung.
Hier endet die Zeit des „Lass mal gucken, was passiert“.
Wissen und Regeln, in dieser Reihenfolge
Zwei Dinge braucht ein Unternehmen, bevor der erste Agent arbeitet.
Das erste ist Wissen. Nicht über KI im Allgemeinen, sondern über das Modell, das bei Ihnen läuft: was es zuverlässig kann, wo es an seine Grenzen kommt und wie es sich verhält, wenn es nicht weiterweiß. Ein Modell sagt nämlich selten, dass es etwas nicht schafft. Es liefert stattdessen ein Ergebnis, das richtig aussieht. Wer das einmal erlebt hat, prüft von da an anders.
Das zweite sind Regeln. Welche Rechte bekommt der Agent, und welche ausdrücklich nicht? An welcher Stelle sieht ein Mensch darauf, bevor etwas das Haus verlässt? Woran erkennen Sie, dass er sich an Ihre Vorgaben gehalten hat, und zwar ausschließlich an diese? Und wer trägt am Ende die Verantwortung für das Ergebnis?
Die Fragen klingen bodenständig. Sie entscheiden darüber, ob am Ende ein Experiment steht oder ein Ablauf, auf den sich Ihr Betrieb verlässt.
Menschen vor Prozessen vor Tools
Sicherheit lässt sich nicht nachrüsten. Sie wächst in drei Stufen, und jede trägt die nächste:
- KI-Kompetenz: Ihre Mitarbeiter lernen, professionell mit KI zu arbeiten, und bekommen ein Gefühl dafür, was die Modelle leisten und wo sie danebengreifen.
- Spezialisierte Assistenten: Wiederkehrende Aufgaben laufen nach klaren Vorgaben, in gleichbleibender Qualität und in einem eng gesteckten Rahmen.
- Autonome Agenten: Agentische Mitarbeiter übernehmen ganze Aufgabenstrecken, mit festgelegten Rechten, geregelten Freigaben und benannter Verantwortung.
Ein Team, das KI im Alltag souverän einsetzt, merkt auch, wann ein Agent danebenliegt. Diese Urteilskraft entsteht auf dem Weg. Überspringen lässt sie sich nicht.
So gehen wir bei AGENTICAL® vor
Bei uns stehen Rechte, Freigaben und Verantwortung fest, bevor der erste Agent arbeitet. Das kostet am Anfang Zeit. Dafür weiß später jeder im Betrieb, was der agentische Kollege darf, woran er gerade sitzt und wann ein Mensch eingreift.
Die Disziplin dahinter heißt Harness Engineering: Wir bauen dem Agenten den Rahmen, in dem er arbeitet, bevor wir den Agenten selbst bauen. Welche Werkzeuge er benutzen darf, welche Daten er sieht, wo ein Mensch entscheidet, was passiert, wenn er unsicher wird. Nach unserer Erfahrung entscheidet sich genau hier, ob ein Agent im Betrieb verlässlich arbeitet.
Zu jeder Einarbeitung gehören dieselben Leitplanken:
- Freigaben: An festgelegten Stellen prüft ein Mensch, bevor ein Ergebnis das Haus verlässt.
- Quality Gate und Audit-Log: Jeder Schritt bleibt nachvollziehbar, auch Wochen später.
- Enge Rechte: Ein Agent erreicht nur die Systeme, die seine Rolle wirklich braucht.
- Datenhoheit: DSGVO-konforme Arbeitsweise, Betrieb auf deutschen Servern oder in Ihrer eigenen Infrastruktur, vorbereitet auf den EU AI Act.
Aus Leistung wird mit Regeln ein Hebel
Die Warnungen aus San Francisco sind ein guter Anlass, den eigenen KI-Einsatz zu ordnen. Ein Modell, das mehr kann als jeder Spezialist im Haus, wird beherrschbar, sobald feststeht, woran es arbeiten darf und wer für das Ergebnis geradesteht. Dann wird daraus der größte Hebel, den Unternehmen seit Langem in der Hand hatten.
Unser Weg dorthin: eine Reise, keine Rakete.
Sie stehen gerade an der Schwelle vom Ausprobieren zum ersten Agenten? Sprechen Sie uns an. Wir klären mit Ihnen, welche Leitplanken Ihr Betrieb braucht.