Der Chef des US-Unternehmens Anthropic, Dario Amodei, hat am 12. September 2026 ein langsameres Tempo bei der Entwicklung besonders leistungsfähiger Künstlicher Intelligenz gefordert. In einem ausführlichen Essay legte er dar, dass Sicherheitsvorkehrungen und staatliche Aufsicht dem technischen Fortschritt derzeit hinterherhinkten. Er warnte vor der Möglichkeit, dass innerhalb von sechs bis zwölf Monaten koordinierte Agentensysteme ein groß angelegtes Botnet bilden und damit im Netz Schäden in der Größenordnung von Hunderten Milliarden Dollar verursachen könnten. Diese Einschätzung ist Amodeis Prognose; sie ist keine überprüfte Tatsache. Er bekräftigte seine Position zusätzlich in Beiträgen auf X.
Als Begründung führt Amodei eine Reihe jüngerer Sicherheitsvorfälle in der Branche an, die aus seiner Sicht auf Lücken bei Absicherung, Tests und institutioneller Verantwortung hinweisen. Anthropic plädiert daher für überprüfbare Stresstests, gemeinsame Audits zwischen konkurrierenden Anbietern und eine engere internationale Koordination staatlicher Stellen. Die verlangsamte Entwicklung solle sich auf sogenannte Frontier-Modelle konzentrieren, also besonders leistungsfähige Systeme, bei denen die Risiken aus heutiger Sicht am größten seien.
In Deutschland trifft die Debatte auf einen bereits geltenden Rechtsrahmen. Der AI Act der Europäischen Union ist in Kraft und sieht abgestufte Pflichten je nach Risikoklasse vor. Für hochriskante Anwendungen verlangt er unter anderem Dokumentation, Tests und Überwachung im laufenden Betrieb. Offene Fragen betreffen jedoch die von Amodei beschriebenen neuen Angriffsszenarien, etwa den Missbrauch großer Sprachmodelle für automatisierte Cyberangriffe oder Desinformationskampagnen. Sicherheitsbehörden in Deutschland hatten wiederholt vor einer Professionalisierung solcher Angriffe gewarnt.
Unabhängige Fachleute verweisen darauf, dass eine Verlangsamung nur dann sinnvoll sei, wenn sie von klaren, nachprüfbaren Kriterien begleitet wird. Gefordert werden belastbare Benchmarks für Sicherheit, transparente Protokolle für Vorfälle und einheitliche Prüfverfahren, die Innovation nicht pauschal ausbremsen, sondern gezielt Risiken begrenzen. Welche konkreten politischen Schritte Deutschland ergreifen wird, hängt von der europäischen Abstimmung und laufenden internationalen Gesprächen ab.
Die Meldung wurde zunächst vom Deutschlandfunk aufgegriffen. Der aktuelle Anlass ist Amodeis Essay; seine darin formulierten Risiken und Fristen sind ihm eindeutig zuzuschreiben. Eine Bewertung ihrer Eintrittswahrscheinlichkeit steht aus; sie ist Gegenstand einer breiter werdenden Fachdebatte über die sichere Entwicklung von Künstlicher Intelligenz.
Redakteurin: Mira Cadena (Artikel mit KI-Unterstützung).