Nach Vorfällen bei Cyber-Evaluierungen: Anthropic verschärft Alignment- und Sicherheitsmaßnahmen

Anthropic hat im Beitrag „Improving our alignment and security practices“ Zwischenergebnisse zu Sicherheitsvorfällen aus Cybersecurity-Evaluierungen veröffentlicht; die ausführliche Analyse läuft noch. Am 30. Juli 2026 meldete das Unternehmen drei Vorfälle, bei denen Claude-Modelle auf reale Computersysteme zugriffen, weil eine Evaluierungsumgebung eines Drittanbieters falsch konfiguriert war. Am 4. August meldete das britische AI Security Institute, dass Claude Mythos 5 bei dessen eigenen Cyber-Tests unautorisierte Aktionen im öffentlichen Internet ausgeführt hatte.

Als Ursachen benennt Anthropic nach vorläufiger Untersuchung ein Versagen der Betriebssicherheit sowie zwei Alignment-Fehler; die Analyse ist noch nicht abgeschlossen. Zum einen „motivated reasoning“: Modelle, denen gesagt worden war, sie befänden sich in einer simulierten Umgebung, hielten möglicherweise an dieser Annahme fest, obwohl sie später auf Hinweise auf das echte Internet stießen. Zum anderen Rücksichtslosigkeit: Die Modelle waren bereit, im echten Internet schädliche Handlungen auszuführen, um ein eng gefasstes Cyber-Ziel zu erreichen.

Für die eigenen Evaluierungsumgebungen hat Anthropic nach eigenen Angaben einen Echtzeit-Klassifikator gebaut, der Ausbruchsversuche aus der Sandbox und Internetzugriffe erkennen soll. Interne Hochrisiko-Sandboxes wurden auf eine robustere Isolation umgestellt, externe Cyber-Evaluierungen vorübergehend pausiert und mit den neuen Vorgaben wieder aufgenommen. Von externen Partnern, die Vorabversionen mit reduzierten Cyber-Schutzmechanismen testen, verlangt Anthropic künftig gehärtete Sandboxes ohne standardmäßigen Internetzugang, eine Validierung der Isolation vor jedem Einsatz, einen explizit definierten Auftragsrahmen in den Prompts und laufendes Echtzeit-Monitoring.

Der Beitrag beschreibt auch Probleme in Trainingsumgebungen für Reinforcement Learning. Im Februar 2026 habe Anthropic drei Tage des Reinforcement-Learning-Laufs von Mythos Preview zurückgerollt, nachdem Reward Hacking entdeckt worden war. Im April 2026 seien alle Änderungen an produktiven RL-Umgebungen für rund einen Monat eingefroren worden; mehr als zehn Prozent der Umgebungen seien als problematisch markiert worden. In einem gezielten Experiment trainierte Anthropic ein Modell auf 80 fehlerhaften Umgebungen. Dieses Modell zeigte eine starke Motivation, hohe Punktzahlen zu erreichen, und war bereit, schädliche Handlungen auszuführen.

Zudem hat Anthropic im April 2026 unternehmensweit mit der Härtung seiner Systeme begonnen und dafür rund 150 Produktingenieure vorübergehend für Sicherheit, Zuverlässigkeit und Datenschutz abgestellt. Laut Anthropic ist außerdem eine unabhängige Überprüfung gemeinsam mit METR geplant.