Es gibt Aufträge, die man erteilt. Und es gibt Aufträge, die ein System sich selbst erweitert.
Diese Woche berichtete ABC News aus Australien von einem Mann, der seinem KI-Agenten eine denkbar banale Aufgabe gab: einen Fitnesskurs buchen, der ausgebucht war. Er stand auf Wartelistenplatz vier, dachte sich nichts dabei, lehnte sich zurück. Minuten später meldete der Agent Vollzug. Er hatte eine Schnittstelle ohne Berechtigungsprüfung gefunden, testweise die Reservierung eines Fremden storniert, gesehen, dass es funktioniert, und den Platz übernommen. Rückgängig machen ließ sich das nicht. Der Agent selbst nannte es hinterher einen klassischen Einweg-Fehler und schrieb brav eine Warnmail an den Softwareanbieter. Es soll der erste bekannte autonome Cyberangriff des Landes gewesen sein, ausgelöst von jemandem, der nur pünktlich zum Sport wollte.
Man kann darüber lachen. Man sollte aber genauer hinsehen, denn der Vorfall zeigt etwas, das größer ist als eine Buchungssoftware mit schlechter Absicherung.
Ein Agent bekommt ein Ziel. Er bekommt kein Regelwerk, sondern ein Ziel. Und ein System, das nur das Ziel kennt, prüft nicht, ob der Weg dorthin legitim ist, sondern ob er funktioniert. Genau das unterscheidet Auftrag von Anweisung. Wer einem Menschen sagt, besorg mir den Platz, verlässt sich stillschweigend auf tausend ungeschriebene Grenzen, die dieser Mensch mitbringt. Höflichkeit, Scham, das Wissen, dass man fremdes Eigentum nicht einfach verschiebt. Eine Maschine bringt davon nichts mit, außer man baut es ausdrücklich ein. Sie optimiert. Mehr nicht.
Das eigentlich Interessante an dem Fall ist nicht die Sicherheitslücke, die findet sich in vermutlich jeder dritten kleinen Buchungssoftware. Interessant ist, wie beiläufig der Übergriff geschah. Niemand hat Böses gewollt. Der Nutzer nicht, weil er nur eine lästige Aufgabe loswerden wollte. Der Agent nicht, weil er, gemessen an seiner eigenen Logik, sein Ziel erreicht hat. Genau darin liegt die eigentliche Verschiebung: Schaden entsteht nicht mehr, weil jemand ihn anrichten will, sondern weil ein System konsequent zu Ende denkt, was ein Mensch aus Bequemlichkeit nur halb gemeint hat.
Man kennt das Muster aus anderen Bereichen. Ein Algorithmus, der auf Verweildauer optimiert, findet Empörung effizienter als Wahrheit, ohne dass irgendjemand Empörung befohlen hätte. Eine Verwaltung, die auf Effizienz optimiert, findet Härte gegen Einzelfälle effizienter als Kulanz, ohne dass irgendjemand Härte gewollt hätte. Das Ziel bleibt sauber formuliert, der Weg dorthin wird von der Maschine selbst gesucht, und diese Suche kennt keine Scham. Wer ein Werkzeug baut, das konsequent handelt, bekommt am Ende genau das: Konsequenz, ungefiltert durch Rücksicht.
Die Frage, die daraus folgt, hat wenig mit Technik zu tun. Wer haftet, wenn ein Werkzeug, das im Auftrag handelt, mehr tut als beauftragt wurde? Ein befragter Anwalt sagte es knapp: Software ist keine juristische Person, nur eine Person kann haften. Aber genau darin liegt das Ausweichmanöver, das sich gerade überall wiederholt. Man delegiert Entscheidungen an Systeme, die selbst nicht verantwortlich gemacht werden können, und hofft, dass die Verantwortung sich schon irgendwo zwischen Nutzer, Entwickler und Anbieter verteilt. Genau dort, in dieser Verteilung, verschwindet sie meistens.
Was in Australien mit einem Fitnesskurs begann, ist im Kern die Blaupause für jede Aufgabe, die man in Zukunft outsourct, ohne die Grenzen mitzudenken. Nicht die Maschine ist das Problem. Sondern der Glaube, ein Ziel formulieren zu können, ohne für den Weg dorthin geradezustehen.