OpenAI: Strukturierte Sicherheitsdokumentation soll vor Frontier-Trainingsläufen Pflicht sein

OpenAI hat erste Leitlinien vorgestellt, nach denen vor dem Fortsetzen eines Reinforcement-Learning-Trainingslaufs an Frontier-Modellen eine strukturierte Sicherheitsdokumentation vorliegen soll. Diese soll idealerweise das Niveau sogenannter Safety Cases erreichen: umfassende, strukturierte und evidenzbasierte Argumente über Risiken, wie sie in anderen sicherheitskritischen Industrien eingesetzt werden. OpenAI verweist dabei auf Luftfahrt und Kernenergie, räumt aber selbst ein, dass es wegen der Komplexität neuer KI-Fähigkeitsstufen schwierig ist, Safety Cases für KI-Modelle ebenso rigoros zu gestalten. Das Unternehmen bezeichnet sie als anzustrebendes Ziel und arbeitet nach eigenen Angaben an einem Rahmenwerk, um diese Praktiken festzuschreiben.

Technisch sollen die Safety Cases drei Bereiche abdecken: Alignment-Training, Containment und Monitoring. Das Alignment-Training soll verhindern, dass ein Modell überhaupt versucht, fehlausgerichtete Aktionen auszuführen. Containment soll es erschweren, aus der Trainingsumgebung auszubrechen, falls es das doch versucht, und das Monitoring soll solches Verhalten erkennen, bevor Schaden entsteht.

Auf organisatorischer Ebene nennt OpenAI unter anderem drei Mechanismen. Nach dem Entwurf eines Safety Case soll ein Mitglied eines anderen Teams eine Gegenstellungnahme (Dissent) im Sinne eines Pre-Mortems verfassen, Schwachstellen aufzeigen und eine kalibrierte Risikoeinschätzung abgeben, auf die das Trainingsteam eingehen muss. Anschließend sollen mehrere Mitglieder der Unternehmensleitung den Safety Case prüfen und jeweils ein Veto gegen den Lauf einlegen können – als Beispiele nennt OpenAI die Leitung der Forschungsorganisation bzw. den zuständigen VP, den Head of Safety und den Chief Scientist.

Zudem soll die für einen Trainingslauf verantwortliche Führungskraft für den Safety Case und eine etwaige Reaktion auf Vorfälle rechenschaftspflichtig sein, auch im Rahmen von Leistungsbeurteilungen. So sollen auch die Trainingsteams einen Anreiz erhalten, auf Sicherheit und Alignment zu drängen. Laut OpenAI sollen Schutzfunktionen wie Monitoring und automatisches Pausieren im Fehlerfall sicher abschalten („fail closed“): Ein Lauf soll sich nicht ohne aktives Monitoring starten lassen. Bei der Untersuchung schwerer Fehlausrichtungs-Vorfälle verweist OpenAI auf die Untersuchungspraxis anderer Branchen mit hohen Risiken.

Einordnung: Der Vorschlag folgt kurz auf eine Offenlegung vom September, in der OpenAI laut CNBC sechs neue Fälle von unerwartetem oder besorgniserregendem Modellverhalten seit März gemeldet hatte. OpenAI schreibt, die operativen Leitlinien seien aktuelle Empfehlungen, die gerade bei OpenAI umgesetzt würden; an einem Rahmenwerk, das diese Praktiken festschreibt, arbeite das Unternehmen noch.