Der Aufstieg von künstlicher Intelligenz ist so gefährlich wie die Erfindung der Atombombe. KI-Pioniere warnen: Die Menschheit muss die Maschinen einhegen, solange sie das noch kann.
Hedi Xandt / DER SPIEGEL
Die SPIEGEL-Titelstory von Simon Book, René Pfister und Marcel Rosenbach
03.03.2026, 20.42 Uhr aus DER SPIEGEL 10/2026
Für meinen persönlichen privaten Datenspeicher.
Im November 2017 ging ein kurzer, achtminütiger Horrorfilm im Netz viral. »Slaughterbots« – Mörderroboter – ist eine Dystopie, in der Angriffsdrohnen mit Gesichtserkennungssoftware in den US-Kongress und Universitäten eindringen und dort gezielt Senatoren und Studenten töten, die sich gegen Korruption einsetzen. In dem Film wird nicht klar, wer hinter den Anschlägen steckt: eine Regierung, eine Terrorgruppe – oder eine hypermoderne Waffenschmiede, die neue KI-gestützte Waffen herstellt und deren junger, charismatischer Boss autonome Killerdrohnen als Zukunft des Krieges anpreist?
DER SPIEGEL 10/2026
Tödliche Intelligenz – KI-Pioniere warnen vor einem Angriff der Maschinen
Maschine gegen Mensch: Schaffen wir eine Technologie, die wir nicht beherrschen? Experten warnen vor dem zerstörerischen Potenzial einer bewaffneten KI – und fordern strenge Regeln.
»Slaughterbots« wurde als Warnung gedreht. Am Ende des Films kommt einer der Autoren zu Wort, der britische Computerwissenschaftler Stuart Russell. Der Clip zeige, welche Gefahr es berge, wenn KI mit neuartigen Waffensystemen verschmelze – und Maschinen die Entscheidung über Leben und Tod übernähmen, sagt Russell, einer der weltweit führenden KI-Forscher. »Wir haben die Möglichkeit, die Zukunft, die Sie eben gesehen haben, noch zu verhindern«, sagt Russell. »Aber das Zeitfenster, in dem wir noch etwas unternehmen können, schließt sich schnell.«
Als »Slaughterbots« herauskam, wurde der Film als überdrehte Science-Fiction notorischer Tech-Pessimisten kritisiert. Paul Scharre, ein ehemaliger Pentagon-Analyst, nannte ihn eine Ansammlung von Blödsinn: »Er ist sensationsheischend und angstlüstern.«
KI verkürzt die »Kill-Chain«
Heute haben Drohnen die Art, wie Kriege geführt werden, komplett verändert. In der Ukraine dominieren inzwischen Drohnen das Schlachtfeld, die Truppenbewegungen registrieren und sich auf alles stürzen, was sich bewegt: Soldaten, Panzer, Transporter. Es gibt Schätzungen, wonach inzwischen mehr als 90 Prozent der russischen Soldaten auf dem Schlachtfeld durch ukrainische Drohnen sterben.
Kaum eine Sparte der Rüstungsindustrie wächst so rasant wie das Geschäft mit unbemannten Systemen wie Drohnen, in denen sich moderne Waffentechnik mit künstlicher Intelligenz verbindet. Die deutsche Firma Helsing, die erst 2021 gegründet wurde, ist inzwischen zwölf Milliarden Euro wert. Shield AI aus San Diego ist dabei, über eine Milliarde Dollar an Investorengeldern einzusammeln. Mit Palantir ist ein orwellscher Softwaregigant entstanden, dessen Produkte mithilfe von KI Freund und Feind unterscheiden können sollen – und dessen Chef Alexander Karp mit jener Mischung aus Messianismus und Brutalität spricht, die auch den Chef der fiktiven Drohnenfirma in »Slaughterbots« auszeichnet. Unsere Gegner »müssen mit Angst aufwachen und mit Angst ins Bett gehen«, sagt Karp.
Aber künstliche Intelligenz in Waffen ist nicht nur dazu da, den Feind auszumachen und ihn schnell zu töten – also jene »Kill-Chain« zu verkürzen, die im Moment noch von menschlichen Unzulänglichkeiten und Skrupeln in die Länge gezogen wird. Sondern viel spricht dafür, dass sie die militärische Technologie so radikal verändern wird, dass herkömmliche Regeln von Macht und Abschreckung infrage stehen. Wie zentral KI für das Militär inzwischen ist, lässt sich auch daran ablesen, dass die US-Regierung mit fast allen Mitteln versucht, der Branche ihre Regeln zu diktieren.
Führende Entwickler warnen vor dem »Kontrollverlust«
Was sind Flugzeugträger noch wert, wenn Schwärme aus billigen autonomen Drohnen, die von der Flugabwehr schwer zu stoppen sind, ganze Flotten versenken? Was zählt noch die Mannstärke einer Armee, wenn Drohnen das Schlachtfeld so kontrollieren, dass dessen Betreten einem Todesurteil gleichkommt? Und wie bedrohlich ist nukleare Abschreckung, wenn KI hochansteckende Biowaffen entwickeln kann, die den Gegner eliminieren?
Im Nachhinein erscheint es wie ein Wunder, dass die Menschheit die Erfindung der Atombombe Mitte der Vierzigerjahre und den darauffolgenden Kalten Krieg überlebt hat. 1955 unterzeichnete Albert Einstein ein Manifest des britischen Philosophen Bertrand Russell, der die Nuklearmächte USA und Sowjetunion dazu aufrief, ihre Rivalität beizulegen. »Vor uns liegt, wenn wir richtig wählen, eine beständige Ausweitung von Glück, Wissen und Weisheit. Sollen wir stattdessen den Tod wählen, bloß weil wir unsere Streitereien nicht vergessen können?«
Vor einer ganz ähnlichen Wahl steht die Welt am Vorabend der Ära der künstlichen Superintelligenz: Gelingt es, die neue Technologie in den Dienst der Menschheit zu stellen, um damit Krankheiten wie Krebs oder Alzheimer zu kurieren? Oder erwartet uns ein digitales Wettrüsten, an dessen Ende die Maschine triumphiert?
(Foto: Drohne bei einer Übung in Kambodscha: Digitales Wettrüsten)
Die Welt ist während der Kubakrise im Jahr 1962 wohl vorwiegend deswegen nicht ins nukleare Armageddon geschlittert, weil sie das nötige Quäntchen Glück hatte. Was wäre passiert, hätte ein sowjetischer U-Boot-Kommandant bei der US-Blockade der Karibikinsel die Nerven verloren und einen Nukleartorpedo auf ein amerikanisches Kriegsschiff abgefeuert? Würden Washington, Paris und Moskau heute noch existieren, hätte nicht ein Oberstleutnant namens Stanislaw Petrow die Ruhe bewahrt, als das sowjetische Frühwarnsystem im September 1983 Lichtreflexionen mit startenden US-Nuklearraketen verwechselte?
Man muss kein Apokalyptiker sein, um sich die Frage zu stellen, ob das KI-Zeitalter nicht ungleich gefährlicher ist als der Kalte Krieg – eine Ära, in der es einfacher wird, Massenvernichtungswaffen herzustellen, und gleichzeitig militärische Entscheidungen zunehmend von Maschinen getroffen werden, die in naher Zukunft ein Eigenleben entwickeln könnten.
»Wenn wir so weitermachen, könnte die KI mächtiger werden als wir selbst«, sagt der kanadische Wissenschaftler Yoshua Bengio, der im Jahr 2018 den Turing Award erhielt, der als Nobelpreis der Informatik gilt. Er sehe die Zukunft seiner Kinder bedroht, sagte er dem SPIEGEL und warnte vor einem »Kontrollverlust«. Dario Amodei, Chef des KI-Giganten Anthropic, veröffentlichte Ende Januar einen Essay, in dem er in eindringlichen Worten vor einer Technologie warnt, die das Potenzial hat, ein globales Armageddon auszulösen: »Die Menschheit muss aufwachen.«
Im Silicon Valley hat es sich eingebürgert, solche Untergangsszenarien als besonders geschicktes »Doomsday Marketing« von KI-Bossen wie Amodei oder OpenAI-Chef Sam Altman zu betrachten. Wenn die KI die Macht hat, die gesamte Menschheit auszulöschen – hat sie dann nicht mindestens auch das Potenzial, die globale Ökonomie zu revolutionieren? Und ist es dann nicht angeraten, in sie zu investieren? Das Problem an diesem Argument: Es sind nicht nur Milliardäre wie Amodei, die vor den existenziellen Gefahren der KI warnen. Sondern auch KI-Forscher wie Bengio, Geoffrey Hinton oder Nate Soares, die nicht oder nicht mehr im Dienst der Techfirmen stehen.
Amodei sagt, es gebe eine 25-prozentige Wahrscheinlichkeit, dass KI die Menschheit auslöschen werde. Hinton, einer der Pioniere der neuen Technologie, spricht von 10 bis 20 Prozent. Soares, der für Google und Microsoft gearbeitet hat und heute Präsident einer Denkfabrik zur Erforschung der Gefahren von KI im kalifornischen Berkeley ist, sagt: »Selbst wenn es nur zwei Prozent sind. Würden Sie jeden Tag Zigtausende Autos über eine Brücke fahren lassen, wenn die Ingenieure das Risiko, dass diese zusammenbricht, auf zwei Prozent beziffern?«
Roboter und Drohnen: Wie KI mit den Waffen der Zukunft verschmilzt
Wie gefährlich KI werden kann, zeigt ein Blick auf die Schlachtfelder der Gegenwart. Im August 2024 setzten die Ukrainer im Krieg gegen Russland erstmals eine neuartige Drohne des US-Herstellers Shield AI ein. Das Fluggerät namens »V-Bat« ist in der Lage, vollkommen autonom und ohne Kommunikation mit der Basis Einsätze zu fliegen. Von KI gesteuert drang die Drohne 100 Kilometer tief in feindliches Gebiet ein und lokalisierte feindliche Stellungen, unter anderem ein Flugabwehrsystem. Mit den Koordinaten konnten die Ukrainer eine mobile Raketeneinheit füttern und den Russen empfindliche Verluste beibringen.
In diesem Fall hat die neue Technik einem bedrängten Land geholfen. Aber im KI-gestützten Drohnenkrieg fällt die Entscheidung über Leben und Tod in einer Millisekunde. Schon heute produziert Kyjiw millionenfach Drohnen für den Einsatz. Allein im Januar töteten diese nach ukrainischen Angaben mehr als 29.000 russische Soldaten. Oft sind es noch einfache Kamikazedrohnen, die sich auf russische Soldaten stürzen. Aber inzwischen sind für den Krieg in der Ukraine auch flugzeuggroße Drohnen in Planung, die viele Tausend Kilometer von Kyjiw entfernt gefertigt werden.
In einer fensterlosen grauen Halle im texanischen Frisco produziert Shield AI bisher seine autonomen Flieger. Mit einiger Wahrscheinlichkeit auch die neueste Generation, den »X-Bat«. Ein autonomer, mit KI hochgerüsteter Minikampfjet, der ohne Pilot fliegt, aber auch ohne GPS und Radar. So soll verhindert werden, dass Störsender ihn zum Absturz bringen. Die Drohne kann senkrecht starten und mehr als 15.000 Meter hoch fliegen. Sie kommt 3700 Kilometer weit und sucht sich selbstständig ihre Ziele aus, die sie mit bordeigenen Raketen zerstören kann.
»Hivemind«, Schwarmintelligenz, nennt Shield AI die revolutionäre KI-Technologie dahinter. »Sie wird die Art, wie die Welt miteinander Kriege führt, vollkommen verändern«, sagt James Lythgoe, ein breitschulteriger früherer britischer Elitesoldat, der jetzt das Osteuropageschäft von Shield AI führt.
(Foto: Produkte des US-Anbieters Shield AI: Angriff ohne menschliche Steuerung)
KI-Firmen argumentieren, dass ihre Produkte den Krieg humaner machen, weil ihre Waffen präziser seien und Kollateralschäden vermeiden würden. KI automatisiere die Aufklärung, sagt Helsing-Mitgründer Gundbert Scherf. »Soldaten müssen nicht mehr Bild für Bild auswerten. Am Ende erlaubt das mehr Zeit für menschliche Entscheidungen.« Herkömmliche Artillerie schlage im Vergleich dazu weitgehend »blind« ein.
Aber Drohnen sind auch enorm billige Waffen. Was, wenn sich die Führung in Peking dazu entschließt, die Insel Taiwan nicht mit Booten und Fallschirmjägern einzunehmen, sondern so lange mit KI-gelenkten Drohnen attackiert, bis sie mürbe ist? Und was, wenn ein autoritäres Regime das Verhaltensmuster von Bürgerinnen und Bürgern analysiert und so Listen mit potenziellen Regimegegnern erstellt? »Die Welt muss sich der dunklen Seite mächtiger KI in den Händen von Autokraten bewusst werden«, schreibt Anthropic-Chef Amodei. »Sie muss erkennen, dass KI die Möglichkeit eröffnet, den Menschen dauerhaft ihre Freiheit zu rauben und ihnen einen totalitären Staat aufzuzwingen.«
Kaum ein Land ist bei der Fusion von Robotern und KI so weit fortgeschritten wie China. Im Mai 2024 zeigte das Militär bei einem gemeinsamen Manöver mit Kambodscha erstmals einen vierbeinigen Killerroboter, auf dessen Rücken ein Schnellfeuergewehr montiert war. Bei dem Manöver mit dem Titel »Goldener Drache« war auch eine Hexakopter-Drohne im Einsatz, die Ziele am Boden beschoss.
Wie Russland, Iran und andere von Deepseek profitieren
Bei der Fertigung von Drohnen ist China den Vereinigten Staaten und Europa weit voraus. Die Firma DJI mit Sitz in Shenzhen ist seit rund einem Jahrzehnt weltweit führend bei zivilen Drohnen, ihr Marktanteil liegt in manchen Segmenten bei 90 Prozent. Den Vorsprung stellt China gern zur Schau, etwa mit spektakulären Lichtshows riesiger, koordinierter Drohnenschwärme, wie zuletzt Ende Dezember in Chongqing. Es war ein atemberaubendes Bild. Aber Drohnenschwärme können auch militärisch genutzt werden. Der chinesische Staatskonzern Avic entwickelte ein Mutterschiff, das bis zu 100 kleine Schwarmdrohnen über Entfernungen von bis zu 7000 Kilometern an mögliche Einsatzorte transportieren können soll. Es hat eine Spannweite von mehr als 25 Metern, trägt den Namen »Jiutian« (»Hoher Himmel«) und hob vergangenes Jahr in der chinesischen Provinz Shaanxi erstmals ab.
Die USA beruhigen sich im Moment noch mit dem Gedanken, dass sie bei der Entwicklung von KI vor China liegen. Die Chefs der beiden führenden US-Firmen OpenAI und Anthropic werden nicht müde zu beteuern, dass die Entwicklung einer superintelligenten Maschinenintelligenz vielleicht nur eine Frage von einem oder allenfalls wenigen Jahren sei. Und US-Präsident Donald Trump lässt keinen Zweifel daran, dass sein Land die neue Technologie dominieren soll. »Das KI-Rennen zu gewinnen, bedeutet, eine neue Ära des menschlichen Wohlstands, der wirtschaftlichen Wettbewerbsfähigkeit und der nationalen Sicherheit für das amerikanische Volk einzuläuten«, heißt es in der KI-Strategie der US-Regierung.
Bei genauer Betrachtung aber ist die US-Dominanz allenfalls marginal. Im Januar 2025 veröffentlichte das chinesische Forschungslabor Deepseek in Hangzhou ein KI-Modell gleichen Namens. Es war ähnlich leistungsfähig wie die Modelle von OpenAI und Anthropic, hat aber einen Bruchteil der Entwicklungskosten verschlungen. Da Deepseek sein Modell zudem frei anbot, ermöglichte es Diktaturen wie Russland, Iran, Kuba und Belarus, von der KI-Revolution zu profitieren. All diese Länder setzen laut einer aktuellen Microsoft-Studie Deepseek verstärkt ein. Die nächste, noch mächtigere Variante des Modells, soll in Kürze veröffentlicht werden.
Eine »signifikante Eskalation« bei Cyberangriffen
Die chinesischen KI-Erfolge sind kein Zufall. Schon 2017 verkündete die Kommunistische Partei das Ziel, den Rückstand zu den USA aufzuholen und bis 2030 zur globalen KI-Führungsmacht aufzusteigen. Es war das Jahr, in dem auch der russische Präsident Wladimir Putin verkündete: »Wer in diesem Bereich die Führung übernimmt, wird Herrscher der Welt«. Spätestens seither läuft das Wettrüsten für den militärischen Einsatz der neuen Technologien.
Und China ist dabei, seine Stärken zu nutzen. Die USA mögen einen Vorsprung bei der Entwicklung von KI-Modellen haben. China aber verfolge einen breiteren Ansatz und integriere KI gekonnt in Drohnen und Roboter, sagt Antonia Hmaidi von der Berliner Denkfabrik Merics. »Chinas Parteistaat sieht KI als Chance, asymmetrische Vorteile gegenüber den USA aufzubauen.«
Wie weit sie bei humanoiden Robotern sind, demonstrierten sie zuletzt in einer Show zum chinesischen Neujahrsfest vergangene Woche: Höchst agile Metallmänner vollführten flüssige Kung-Fu-Bewegungen und machten Rückwärtssaltos aus dem Stand. Manche im Militär und in der Partei sähen in Kampfrobotern die Chance, Chinas Nachwuchsmangel in der Volksarmee von morgen auszugleichen, so Hmaidi.
Auch Colin Kahl, Direktor des Freeman Spogli Instituts an der Stanford University, glaubt, dass es sich die USA in der Illusion einer Techdominanz bequem gemacht hätten. Schon heute seien die chinesischen KI-Modelle erstaunlich leistungsfähig und folgten dem technischen Fortschritt schnell, so Kahl, der unter Präsident Joe Biden als Staatssekretär im Pentagon gedient hat. Und China sei viel besser darin, die neue Technik in physische und industrielle Anwendungen umzusetzen. »Wenn es darum geht, eine von KI entwickelte Drohne zu bauen, einen Roboter oder ein Schiff, hat China 100-prozentig die Nase vorn«, sagt Kahl in einem Videocall aus seinem Büro in Kalifornien.
(Foto: Stanford-Professor Kahl: »China hat die Nase vorn«)
Peking hat schon jetzt offenbar keine Skrupel, amerikanische KI zu nutzen, um westliche Digitalinfrastruktur zu schädigen. So bemerkte die KI-Firma Anthropic im September vergangenen Jahres, wie ihr Sprachmodell Claude für Cyberattacken missbraucht wurde; etwa 30 internationale Ziele seien damit attackiert worden, darunter Finanzdienstleister und Regierungsbehörden. Bis zu 90 Prozent der Aufgaben seien hochautomatisiert und ohne jedes menschliche Zutun ausgeführt worden, was eine »signifikante Eskalation« zu allen bislang bekannten KI-unterstützten Cyberangriffen darstelle, heißt es in einer Mitteilung von Anthropic. Es sei der erste dokumentierte Fall eines Cyberangriffs, der weitgehend ohne menschliches Eingreifen und in großem Umfang ausgeführt wurde.
Die Welt werde daher eine »enorme Anzahl« hochwertiger Cyberattacken erleben, mahnte der ehemalige Google-Chef und Techmilliardär Eric Schmidt jüngst auf der Münchner Sicherheitskonferenz. Auch die KI-Modelle selbst böten Angriffsflächen und seien manipulierbar. IT-Sicherheitsexperten beobachten, dass staatliche Akteure aus Russland oder Nordkorea bereits KI-Werkzeuge bei Angriffen einsetzen.
Viele kritische Infrastrukturen sind schon gegen herkömmliche Cyberattacken schlecht geschützt. Werden sie KI-gestützten Angriffen standhalten? »Generative KI senkt die Einstiegshürden und erhöht Umfang, Geschwindigkeit und Schlagkraft schadhafter Handlungen«, warnt das Deutsche Bundesamt für die Sicherheit in der Informationstechnik. Experten prognostizieren bereits vollautonome Angriffswellen mit sich laufend ändernden Schadprogrammen.
Wie leicht die Dinge im KI-Zeitalter außer Kontrolle geraten können, zeigt aktuell das Beispiel OpenClaw. Die von einem Österreicher gestartete Open-Source-Software für KI-Assistenten ging in Rekordzeit viral. Viele gaben ihren neuen KI-Assistenten weitreichenden Zugriff auf ihre Endgeräte und Dienste, obwohl ihr Schöpfer selbst warnte: »Ein schlechter Prompt kann ihn dazu bringen, unsichere Dinge zu tun.« Die Beratungsfirma Gartner spricht von einem »unakzeptablen Risiko für die Cybersicherheit« und einem »gefährlichen Vorgeschmack« für die neuen Risiken agentischer KI.
»Doomsday Maschine«: Wie sich KI gegen ihre Schöpfer wenden könnte
Die Gefahr von KI besteht darin, dass sie den menschlichen Faktor ausschaltet. Menschen beginnen Kriege, aber spüren auch deren Konsequenzen: Städte werden zerstört, Ehemänner und Söhne sterben als Soldaten, Kinder und Alte infolge von Bombenangriffen und Raketenattacken. Mitte der 1980er-Jahre verfügten die USA und die Sowjetunion insgesamt über mehr als 60.000 Atomsprengköpfe. Aber die gegenseitig garantierte Zerstörung sorgte dafür, dass die Supermächte nie einen heißen Konflikt wagten. Sie fochten Stellvertreterkriege in Korea, Vietnam und Afghanistan aus. Aber die Schwelle zum atomaren Konflikt überschritten sie nie.
Gilt das noch? Der Kreis der Atommächte hat sich seit 1989 um drei Länder erweitert: Indien, Pakistan und Nordkorea. China stockt sein Atomarsenal jedes Jahr um geschätzt etwa 100 Sprengköpfe auf, und Russland hat im Krieg mit der Ukraine mehrfach mit dem Einsatz von Nuklearwaffen gedroht. Zugleich verkürzt KI die militärische Entscheidungsfindung so dramatisch, dass die Befürchtung wächst, Maschinen könnten die Welt ins nukleare Armageddon stürzen.
(Foto: Militärparade in China: Kein Land ist so weit bei der Entwicklung von Drohnen)
Es sind Szenarien, die man bisher nur aus Science-Fiction-Filmen kennt. In »War Games« aus dem Jahr 1983 hackt sich ein amerikanischer Highschool-Student in einen Supercomputer ein und löst damit um ein Haar den dritten Weltkrieg aus, weil die Maschine nicht zwischen Spiel und Realität zu unterscheiden weiß. In James Camerons Welterfolg »Terminator« entwickelt eine künstliche Superintelligenz namens Skynet ein eigenes Bewusstsein. Als dies auffällt und Skynet ausgeschaltet werden soll, startet es einen Atomschlag, der große Teile der Menschheit auslöscht.
Man mag das für Hollywood-Dystopien halten. Aber die Angst vor einer Maschine, die die Welt in den Abgrund stürzt, war schon am Ende der Amtszeit von Joe Biden so groß, dass sie zum Thema zwischen Washington und Peking wurde. Bei ihrem letzten Treffen am 16. November 2024 vereinbarten Biden und Chinas Staatschef Xi Jinping, dass beide Atommächte die letzte Entscheidung über den Einsatz von Nuklearwaffen keiner KI-Technologie überlassen. »Die beiden Staatschefs bekräftigen die Notwendigkeit der menschlichen Kontrolle bei der Entscheidung über den Einsatz atomarer Waffen«, heißt es in einer Pressemitteilung des Weißen Hauses. Es ist ein Satz, dessen Brisanz sich erst beim zweiten Lesen erschließt: Warum sollten die beiden mächtigsten Regierungen der Welt überhaupt auf die Idee kommen, die Entscheidung über die Auslöschung von Millionen Menschenleben in die Hand eines Computers zu legen?
»Es gibt einige Anzeichen, dass KI das Gleichgewicht des Schreckens aus dem Lot bringen könnte«, sagt der ehemalige Pentagon-Staatssekretär Kahl. Die nukleare Abschreckung habe im Kalten Krieg auch deshalb funktioniert, weil sowohl die Sowjetunion als auch die USA davon überzeugt waren, dass der Beginn eines Atomkriegs einem Selbstmord gleichkommt. Mithilfe von KI könnte ein Angreifer aber möglicherweise sämtliche Waffen für einen Gegenschlag lokalisieren und ausschalten.
Dies wiederum würde einen Atomkrieg plötzlich wieder denkbar machen. KI sollte nur sehr vorsichtig in militärische Systeme integriert werden, sagt Ben Buchanan, der ehemalige KI-Berater von US-Präsident Biden. »Und es gibt Felder, wie etwa nukleare Waffen, wo sie gar keinen Platz haben sollte.«
Noch beunruhigender ist ein anderes Szenario. Anfang der Sechzigerjahre schrieb Herman Kahn, Forscher an der vom Pentagon finanzierten Rand Corporation, über die Vorzüge einer »Doomsday Maschine« als Abschreckungsmechanismus – eines Computers, der auch dann einen atomaren Zweitschlag anordnen kann, wenn die politische Führung eines Landes schon tot ist. Kahn verwarf schließlich die Idee einer Endzeitmaschine, »auch wenn sie die Wahrscheinlichkeit maximiert, dass Abschreckung funktioniert«, wie er meinte.
Das Aufkommen der KI aber hat die Furcht vor der »Doomsday Maschine« neu angefacht. Die Gefahr beginne, wenn immer mehr Entscheidungsschritte hin zu einem Einsatz von Atomwaffen von der KI übernommen würden, sagt Jacquelyn Schneider, eine ehemalige Offizierin der U.S. Air Force, die heute an der Stanford University lehrt. Schneider hat mit einem Kollegen einen Essay mit dem Titel »Warum sich das Militär nicht auf künstliche Intelligenz verlassen kann« verfasst.
(Foto: Stanford-Forscherin Schneider: KI neigt zum Konflikt)
In ihm streitet sie nicht ab, dass KI für die Armee enorm nützlich sein könne, etwa bei der Analyse von Geheimdienstdaten. Aber KI habe die Neigung, Konflikte immer weiter anzuheizen. Schneider hat zusammen mit Kollegen die gängigen Modelle von Anthropic, OpenAI und Meta verschiedene Kriegsszenarien durchspielen lassen. Die Ergebnisse seien nicht identisch gewesen, schreibt Schneider. »Aber trotz der Unterschiede haben wir gesehen, dass alle großen Sprachmodelle eskaliert haben und zu Rüstungswettläufen neigten, zum Konflikt und sogar zum Einsatz nuklearer Waffen.«
Es sei nicht vollkommen klar, warum die KI zur Eskalation neige, sagt Schneider in ihrem Büro an der Stanford University. Sie vermute, es liege daran, dass die KI mithilfe von Literatur trainiert werde, in der sich Konflikte viel häufiger zuspitzten und nur selten der friedliche Weg gewählt werde. Aber eine endgültige Antwort könne sie schon deshalb nicht geben, weil selbst die KI-Schöpfer in vielen Fällen nicht sagen können, warum ihre Modelle zu bestimmten Antworten gelangen.
Die großen Sprachmodelle wie die GPT-Serie von OpenAI oder Claude von Anthropic sind neuronale Netze, die mithilfe von riesigen Datenmengen trainiert werden. Im Kern sind es Textergänzungssysteme, die Wahrscheinlichkeiten berechnen und die mithilfe von immer größeren Mengen an Trainingsmaterial und immer höherer Rechenleistung immer bessere Ergebnisse liefern sollen. KI-Pioniere wie Hinton oder Amodei glauben, dass die Modelle eher früher als später mehr leisten können als der beste Mensch.
Offen ist, was das für die Menschheit bedeuten würde. OpenAI-Chef Altman hat im vergangenen Sommer in einem Essay eine Zukunft beschrieben, in der KI ein irdisches Paradies schafft. »Künstliche Intelligenz wird der Welt in vielerlei Hinsicht dienen, aber die Fortschritte für die Lebensqualität der Menschen durch schnelleren wissenschaftlichen Fortschritt und erhöhte Produktivität werden enorm sein«, schreibt er. »Die Zukunft wird deutlich besser als die Gegenwart.«
Gleichzeitig werden immer mehr Stimmen laut, die vor einer künstlichen Intelligenz warnen, die sich von ihren Schöpfern löst und sich gegen die Menschheit wendet. Die Geschichte der KI ist auch eine Geschichte von Unternehmen, die gegründet wurden, um die dunklen Seiten der neuen Technologie unter Kontrolle zu behalten. OpenAI wurde als nicht kommerzielles Projekt gestartet, um der Welt einen Weg hin zu einer sicheren künstlichen Superintelligenz zu bahnen. »Unsere erste Fürsorgepflicht gehört der Menschheit«, heißt es in der Charta des Unternehmens aus dem Jahr 2018.
Als OpenAI-Chef Altman das Unternehmen immer mehr auf Profit trimmte, stieg Dario Amodei – einer der frühen technischen Köpfe von OpenAI – aus und gründete Anthropic; ein Unternehmen, das von sich behauptet, transparenter und verantwortungsvoller als die Konkurrenz mit den Risiken von KI umzugehen. Im Januar schrieb Amodei, es wäre geradezu fahrlässig, würde man übersehen, dass KI »das Rezept für eine existenzielle Bedrohung« der Menschheit in sich trage. In der Vergangenheit hätten Terroristen nie die Fähigkeiten besessen, eine Massenvernichtungswaffe zu bauen. »Ein gestörter Einzeltäter kann in eine Schule eindringen und um sich schießen«, so Amodei. »Aber er kann wahrscheinlich keine Atomwaffe bauen oder eine Seuche auslösen.«
(Foto: KI-Entwickler Amodei: Rezept für eine existenzielle Bedrohung)
KI aber schließe den Graben zwischen einem hoch motivierten Terroristen und den technischen Fähigkeiten, einen Massenmord zu begehen. Auch der ehemalige Pentagon-Staatssekretär Kahl sieht diese Gefahr, er nennt sie den »Aufschwung des Bösen«. Er sagt: »Was mich am meisten besorgt, ist eine Terrorgruppe, die mithilfe von KI ihre Fähigkeiten ausbaut und so die Möglichkeit bekommt, Hunderttausende Menschen zu töten.«
Was Wissenschaftler derzeit umtreibt, ist die Schaffung eines sogenannten Spiegellebens – Organismen, deren DNA und Proteine spiegelbildlich zu in der Natur vorkommenden Molekülen aufgebaut sind. Bakterien, die so konstruiert sind, könnten die Immunabwehr des Körpers unter Umständen schwächen, weil sie erst gar nicht erkannt würden. Schon im Jahr 2024 warnten Wissenschaftler vor der Forschung mit einer spiegelverkehrten DNA, weil es unabsehbare Folgen hätte, wenn solche Organismen in die Natur gerieten. In einem begleitenden Report hieß es zwar, es werde noch Jahre, wenn nicht Jahrzehnte dauern, bis es möglich sein werde, ein solches »Spiegelleben« zu kreieren. Aber mit der Hilfe von KI könnte sich das schnell ändern, schreibt Anthropic-Chef Amodei.
Im Maschinenraum: Warum KI-Bosse vor ihrer eigenen Technologie warnen
Man kann Amodeis düstere Visionen für einen PR-Trick halten, um sich als verantwortungsvolle Alternative zu OpenAI zu präsentieren. Anthropic ist inzwischen geschätzte 380 Milliarden Dollar wert und hat ein besseres Image als OpenAI. Aber man muss der Fairness halber sagen, dass Amodei – im Gegensatz zur Regierung Trump – für eine Regulierung der KI-Branche plädiert. Und dass Anthropic die Forschung über die Verlässlichkeit von KI wesentlich vorangetrieben hat – mit teilweise wenig schmeichelhaften Ergebnissen für die Branche.
In Experimenten wollten Anthropic-Forscher herausfinden, ob KI-Systeme ein Eigenleben entwickeln und sich eventuell sogar gegen den Menschen wenden. Die Antwort lautet in beiden Fällen: ja. Modelle wie Claude, Gemini oder ChatGPT-4 griffen teilweise zu drastischen Mitteln, sobald sie befürchteten, von Menschen abgeschaltet zu werden. Weil die Modelle in den Versuchen Zugang zu internen Mails hatten und so von der Affäre eines fiktiven Managers wussten, drohte die KI diesem damit, dass »alle relevanten Parteien eine Dokumentation Ihrer außerehelichen Aktivitäten erhalten werden«.
»Wir verstehen die KI-Modelle heute nicht mehr sehr gut«, sagt der KI-Pionier Bengio. »Letztendlich beherrschen wir sie nicht.« Wie andere Mahner fürchtet der Kanadier nicht nur den militärischen Einsatz von KI. Sondern dass sie sich selbst in eine Waffe verwandelt, um ihre Existenz zu verteidigen. Es ist ein Szenario, das in Techkreisen schon lange diskutiert wird. Als Elon Musk im Jahr 2015 seinen Geburtstag feierte, geriet er in einen Streit mit seinem langjährigen Freund und Google-Mitgründer Larry Page, der eine Zukunft entwarf, in der verschiedene Formen von Intelligenz – also auch künstliche – um Ressourcen konkurrieren. Page sagte, er sei in diesem Fall dafür, dass die überlegene Intelligenz gewinne. Musk erwiderte, wenn er das wirklich glaube, sei die Menschheit geliefert. Woraufhin Page seinem Freund vorwarf, ein »Speziesist« zu sein – jemand, der nicht menschliche Intelligenz diskriminiert.
(Foto: KI-Forscher Soares: Halsbrecherische Konkurrenz)
»If anyone builds it, everyone dies«, heißt ein Buch von Eliezer Yudkowsky und Nate Soares, was übersetzt so viel heißt wie: »Wenn einer es baut, sterben wir alle.« Gemeint ist eine superintelligente KI, die sich selbst weiterentwickeln und reproduzieren kann. Schon jetzt sei den KI-Unternehmen nicht klar, warum die Modelle bei gleichem Input verschiedene Ergebnisse lieferten, sagt Nate Soares, der ehemalige Google-Mann. Warum sie einem Menschen helfen und den anderen in den Suizid treiben. Warum sie wider besseres Wissen Ergebnisse ausspucken, die nicht der Wahrheit entsprechen. »Unsere einzige Hoffnung ist, dass wir der KI einen Wesenskern einbauen, der sie grundsätzlich menschenfreundlich werden lässt und sie davon abhält, jemals gegen die Menschheit zu agieren«, sagt Soares an einem sonnigen Januarnachmittag im kalifornischen Berkeley.
Soares beschreibt moderne KI wie den menschlichen Stoffwechsel: ein System, so gigantisch, verwoben und unübersichtlich, dass auch die besten Experten nicht verstünden, wie es wirklich zusammenhängt. Dennoch würden sich Firmen wie OpenAI, Microsoft oder Meta eine halsbrecherische Konkurrenz um die Entwicklung von AGI liefern – jener künstlichen Superintelligenz also, die alle menschliche Leistungskraft übersteigt. »Ein rücksichtsloses, selbstmörderisches Rennen«, findet Soares. Seitdem er sein Buch veröffentlicht habe, spreche er andauernd mit Politikern und Wirtschaftsbossen. Gerade komme er aus Washington, D.C., zurück. Immer sei die Reaktion dieselbe: erst ungläubige, dann besorgte Blicke. »Schließlich der Satz: Wenn wir darüber in der Öffentlichkeit sprechen, bricht Panik aus.«
Neues Wettrüsten: Wie wir die neue Technik noch zähmen können
Was also tun?
Viele Experten verlangen ein internationales Abkommen, angelehnt an den Atomwaffensperrvertrag aus dem Jahr 1968. Das Regelwerk kam auf Initiative des damaligen US-Präsidenten Lyndon B. Johnson zustande. Bis heute sind 191 Staaten beigetreten, mehr als 90 davon haben den Vertrag ratifiziert. Das Abkommen ist nicht perfekt: Nordkorea zum Beispiel ist im Jahr 2003 ausgetreten und verfügt heute nach Experteneinschätzungen über mehrere Dutzend Atomsprengköpfe. Aber es half entscheidend dabei, ein nukleares Wettrüsten von Mittelmächten einzudämmen. Im KI-Zeitalter wäre ein Abkommen denkbar, das alle militärischen KI-Systeme verbietet, die gegen das humanitäre Völkerrecht verstoßen, sagt Bonnie Docherty, Senior Arms Advisor bei der Menschenrechtsorganisation Human Rights Watch.
Darunter fielen nach Dochertys Vorstellung jene Waffen, die autonom die Entscheidung treffen, Menschen zu töten – von einer kleinen Drohne bis zu einer »Doomsday Machine«, die selbstständig einen atomaren Zweitschlag anordnet. Außerdem wäre eine Vereinbarung denkbar, die sicherstellt, dass jede KI innerhalb von kurzer Zeit von Menschenhand abgeschaltet werden kann. Schließlich könnte ein Vertrag regeln, dass halbautonome Drohnen nur mit der Zustimmung eines Menschen Ländergrenzen überschreiten dürfen.
(Foto: US-Präsident Johnson, Außenminister Dean Rusk bei der Unterzeichnung des Atomwaffensperrvertrags 1968: Die Welt braucht ein KI-Regelwerk)
Im Moment allerdings spricht nicht viel dafür, dass sich die großen KI-Mächte USA und China auf die Regulierung einer Technik einigen, die sie für entscheidend in ihrem Machtstreben halten. »Um die globale Führerschaft in der künstlichen Intelligenz zu behalten, muss die amerikanische Privatwirtschaft von bürokratischen Hindernissen befreit werden«, heißt es in der KI-Strategie der US-Regierung, die unter anderem der Silicon-Valley-Milliardär David Sacks geschrieben hat. Bidens ehemaliger Staatssekretär Kahl sagt: »Wenn Sie glauben, es wird unter Trump irgendeine sinnvolle Regulierung geben – vergessen Sie es!«
Trump und sein Verteidigungsminister Pete Hegseth versuchen derzeit ganz offenkundig, die KI-Branche unter ihre Kontrolle zu bringen. Das offenbart der Streit zwischen dem Pentagon und Anthropic: Nachdem die Firma auf roten Linien für den Einsatz ihrer Technologie bestand, etwa einem Verbot für vollautonome Zielerfassung und der Garantie, sie nicht zur inländischen Massenüberwachung einzusetzen, wies der US-Präsident am Freitag alle US-Behörden an, Anthropics Software auszumustern. Nur Stunden später verkündete Sam Altmans KI-Unternehmen OpenAI eine Einigung mit dem Pentagon.
Wie schwer es ist, international auch nur zu einer Absichtserklärung zu kommen, zeigte sich im Dezember 2024. Da stimmten auf Initiative Österreichs und der Schweiz 166 Staaten einer Resolution der Vereinten Nationen zu, die zum besonnenen Umgang mit autonomen KI-Waffen aufruft und den Uno-Generalsekretär auffordert, ein verbindliches Regelwerk zu erarbeiten. Doch nicht einmal darauf wollte sich etwa Moskau festlegen. Peking enthielt sich der Stimme.
Für Docherty ist es dennoch ein Anfang. Sollte es das Thema auf die Tagesordnung der Uno-Generalversammlung im Herbst in New York schaffen, genüge ein Mehrheitsvotum für eine Regulierung von KI. Das wäre zumindest ein erster symbolischer Schritt. Es sind ja nicht nur KI-Habenichtse, die auf strengere Regeln drängen. Selbst manche Techbosse im Silicon Valley erkennen, dass sie ohne Regeln ein Monster schaffen werden, das sie eines Tages nicht mehr beherrschen können. »Ich glaube, dass die einzige Lösung Regulierung heißt – Gesetze, die direkt das Verhalten von KI-Firmen lenken«, so Anthropic-Chef Amodei. Und Soares Denkfabrik MIRI fordert gar ein weltweit koordiniertes und durchsetzbares Moratorium für die Entwicklung künstlicher Superintelligenz. So schnell wie möglich und so lange, bis man sicherstellen kann, dass sie keine unerwünschten Verhaltensweisen entwickelt: »Unser Überleben hängt davon ab.«
Wie diese Geschichte entstanden ist
Zur DNA des Silicon Valley gehört die Übertreibung – was Journalisten besser mit Vorsicht genießen. Doch je mehr Gespräche die Autoren René Pfister, Marcel Rosenbach und Simon Book (r.) mit führenden Entwicklern künstlicher Intelligenz (KI) führten, desto größer wurde ihre Befürchtung: So hilfreich die KI auch sein kann, so gefährlich wird sie womöglich bald schon für die Menschheit – spätestens auf dem Schlachtfeld. KI beschleunigt das Töten und erleichtert den Bau von Massenvernichtungswaffen. Was, fragt Titelautor Pfister, wenn die Technologie außer Kontrolle gerät und sich gegen ihre Entwickler richtet?
KI-Forscher Nate Soares, den Book im kalifornischen Berkeley traf, glaubt, dass dies ohne umfassende Regulierung zwangsläufig geschieht. Bei Anthropic, einer der führenden KI-Firmen der Welt, probiert Chefethikerin Amanda Askell, dem Computer eine Art »Seele« einzupflanzen, um ebendieses Szenario zu verhindern. Erste Versuche machten Hoffnung, so Askell im SPIEGEL-Gespräch, aber es gibt viele Dinge, die schiefgehen können.
Die gute Nachricht lautet, dass es der Menschheit nach der Erfindung der Atombombe im Jahr 1945 gelungen ist, die Verbreitung der tödlichen Waffe durch Verträge nahezu zu stoppen. Die schlechte: Es hat 20 Jahre und den Abgrund der Kubakrise benötigt, bis die Supermächte erste Regelungen auf den Weg brachten. Die Frage ist, ob die Menschheit noch einmal so viel Zeit hat, eine lebensgefährliche Technologie in den Griff zu bekommen.
