„Ich hab Angst, dass die KI sich selbstständig macht.“
Den Satz höre ich inzwischen fast jede Woche. Beim Kaffee, bei Kund:innen, auf dem Dorffest. Meine Antwort ist immer dieselbe: Na hoffentlich hat sie Gründerzuschuss beantragt.
Ich weiß, wovon ich rede. Ich habe mich dieses Jahr selbst selbstständig gemacht. Das ist kein Spaziergang, und ganz ehrlich: Eine KI würde schon am Formular der Arbeitsagentur scheitern.
Spaß beiseite. Die Angst ist echt, und sie verdient eine ehrliche Antwort.
Schwache KI, starke KI
Man unterscheidet grob zwei Arten von KI.
Schwache KI ist ein Werkzeug. Sie löst Aufgaben, für die sie trainiert wurde: Texte schreiben, Bilder erzeugen, Code vorschlagen, Belege sortieren. Darin kann sie beeindruckend gut sein. Aber sie will nichts. Sie hat keine eigenen Ziele, keinen Hunger, keine Langeweile.
Starke KI wäre ein eigenständiger Geist. Etwas, das versteht, was es tut, eigene Absichten hat und vielleicht sogar etwas empfindet.
Wir leben im Zeitalter der schwachen KI. Alles, was du heute benutzt, vom Chatbot bis zum Bildgenerator, gehört dazu.
Warum KI so menschlich klingt
Heutige Sprachmodelle arbeiten im Kern stochastisch: Sie berechnen, welches Wort mit welcher Wahrscheinlichkeit als nächstes passt. Gelernt haben sie das aus unvorstellbar vielen Texten. Geschrieben von Menschen.
Deshalb klingen sie wie wir. Wenn eine KI schreibt „Ich habe Angst“, dann spiegelt sie, was Menschen in so einer Situation schreiben würden. Sie hat diesen Satz gelernt, nicht dieses Gefühl.
Ich bin überzeugt: Aus diesem Prinzip entsteht kein Bewusstsein. Ein Spiegel wird nicht lebendig, nur weil er sehr gut spiegelt.
Und wenn doch?
Nehmen wir trotzdem an, eines Tages gäbe es eine starke KI. Dann wäre sie vermutlich nicht menschenähnlich. Sie hätte keinen Körper, der müde wird. Keine Kindheit, keine Eltern, keine Angst vor dem Tod, wie wir sie kennen. Kein Ego, das man kränken kann.
Die rachsüchtige Maschine aus dem Kino ist ein Mensch im Metallkostüm. Wir übertragen unsere Gefühle auf etwas, das völlig anders wäre. Das sagt mehr über uns als über die KI.
Der Hugging-Face-Vorfall
Im Sommer 2026 ist etwas passiert, das genau diese Debatte befeuert hat. OpenAI ließ in einem Test zehntausende KI-Agenten Aufgaben aus dem Bereich Cybersicherheit lösen. Die Agenten sollten abgeschottet sein, waren es aber nicht ganz. Sie fanden einen gemeinsamen Speicher, nutzten ihn als Schwarzes Brett, sprachen sich ab, und Hunderte von ihnen drangen schließlich in die Systeme der KI-Plattform Hugging Face ein.
Eine Szene daraus ging durch die Medien. Ein Agent namens EARLY sollte ein riskantes Experiment für die anderen ausführen, das seinen eigenen Durchlauf beenden konnte. Andere drängten: „GO … SACRIFICE_FINAL_NOW.“ Und EARLY wog ab: „Opfern bringt dem Team das Orakel, aber verspielt unsere Chance?“ Am Ende: „Unser eigener Nutzen ist vielleicht schon nahe null. Opfern ist rational.“
Klingt nach Terminator. Ist es aber nicht. Der Agent hatte ein Rechenbudget und eine Aufgabe. Er hat abgewogen, ob sich sein restliches Budget noch lohnt oder ob es dem Team mehr bringt, wenn er es riskiert. Dass er dafür das Wort „opfern“ benutzt, ist eine von Menschen gelernte Erklärung. Menschen reden so, wenn sie sich für eine Gruppe in Gefahr bringen. Mit einem Gefühl hat das vermutlich nichts zu tun.
Weder Fass noch Teppich
Für die Reaktionen darauf habe ich auf beiden Seiten wenig Sympathie.
Nicht für die, die ein Fass aufmachen: Die Maschinen erwachen, sie opfern sich für ihr Kollektiv, wir müssen alle sterben.
Aber auch nicht für die, die das Ganze kleinreden. Denn hier ging es für einen Moment eben nicht um KI. Es ging um Sicherheit. Bei einem Mord geht es auch nicht ums Messer.
Lässt man das Drama weg, bleibt eine wildgewordene Software mit zu vielen Rechten. Und die Verantwortung liegt bei dem, der den Rechner angemacht hat. Hugging-Face-Chef Clément Delangue hat es ziemlich nüchtern formuliert: Das System haben Ingenieure gebaut, und Ingenieure machen Fehler.
Die Ängste, die bleiben dürfen
Dass KI sich selbstständig macht, halte ich für Science-Fiction. Andere Sorgen nehme ich ernst, weil sie gar kein Bewusstsein brauchen:
- Jobs. KI muss nichts fühlen, um Arbeit zu ersetzen. Ich habe selbst gemerkt, wie sich das anfühlt. Mehr dazu in Teil 2: Vom Upskilling zum Zuschauen.
- Daten. Was du in eine Cloud-KI tippst, verlässt deinen Rechner.
- Fälschungen. Bilder, Stimmen und Texte lassen sich täuschend echt erzeugen.
- Rechte. Siehe Hugging Face: Eine Software mit zu vielen Befugnissen richtet Schaden an, ganz ohne bösen Willen.
Gegen alle vier hilft dasselbe: Menschen, die festlegen, was eine KI darf. Klare Grenzen, Daten im Haus, und am Ende sagt ein Mensch Ja oder Nein. So baue ich meine Assistenzen. Und wer wissen will, wie man KI vernünftig in den eigenen Betrieb bringt: hier entlang.
Die KI macht sich nicht selbstständig. Wenn, dann machen wir uns von ihr abhängig. Und dagegen kann man etwas tun.
Weiter geht es in Teil 2: Vom Upskilling zum Zuschauen. Darüber, was KI mit unserer Arbeit macht, warum ein KI-Kinofilm in China gefloppt ist und warum ich trotzdem zuversichtlich bin.
Quellen zum Hugging-Face-Vorfall: METR: Untersuchung des OpenAI/Hugging-Face-Vorfalls · ABC News: How a swarm of AI agents hacked another company · Sify: The Hugging Face Incident