OpenAI Embedded Assessments: Wer prüft, wie unabhängig?
Bei Embedded Assessments arbeiten unabhängige Experten über längere Zeit eingebettet im KI-Labor und erhalten tiefen Zugang zu internen Modellen und Systemen. OpenAI hat dafür Verträge mit Apollo Research, METR, Transluce und Goodfire unterzeichnet [1]. Befunde sind bisher nicht veröffentlicht [4].
Von Heisenberg IT5 Min. Lesezeit

Das Wichtigste in Kürze
- OpenAI hat vier unabhängige Prüfer unter Vertrag genommen, die Alignment und Schutzmaßnahmen bei Training und interner Nutzung prüfen [1].
- Die Prüfer bekommen je nach Bedarf Zugang zu Checkpoints, Quellcode, Daten und Forschenden; sensible Informationen sehen sie nur vor Ort [1].
- Die Unabhängigkeit hat Grenzen: OpenAI kann Berichte schwärzen und Verzögerungen verlangen, und zwei Prüfer werden bezahlt [1].
- Es gibt weder veröffentlichte Befunde noch Termine für Berichte [1][4].
- Das Datum der Ankündigung ist uneinheitlich: 13. November 2026 laut OpenAI, 16. November laut mehreren Medien [1][2][3][4].
Was ist neu: Was sind OpenAIs Embedded Assessments?
OpenAI hat Verträge mit vier unabhängigen Prüfern unterzeichnet: Apollo Research, METR, Transluce und Goodfire [1]. Sie erhalten über längere Zeit tiefen Zugang zu internen Modellen und Systemen. Geprüft werden Alignment und die Wirksamkeit von Schutzmaßnahmen [1]. Der Fokus liegt auf dem Training und der internen Nutzung der Modelle [1].
Das Datum der Ankündigung ist uneinheitlich. Die Seite von OpenAI nennt den 13. November 2026 [1]. Mehrere Medien nennen den 16. November 2026 [2][3][4]. Ergänzend plant OpenAI weitere externe Prüfungen, möglicherweise auch zur Einhaltung der Sicherheits-Frameworks sowie zu Organisationskultur und Prozessen [1].
Stand: November 2026.
Wer prüft was: Apollo Research, METR, Transluce und Goodfire
Jeder der vier Prüfer hat einen eigenen Schwerpunkt. Er reicht von Subversion über den bisher größten Trainingslauf bis zu den Innereien der Modelle und der Qualität der Evaluierungen [1].
| Prüfer | Gegenstand | Besonderheit |
|---|---|---|
| Apollo Research | Vier Aussagen zu Subversion, in zwei Stufen | Ergebnisunabhängige Vergütung [1] |
| METR | Alignment-Prüfung des bisher größten RL-Laufs; Monitor-Prüfung | Monitor-Prüfung nur vorläufig vereinbart [1] |
| Transluce | Post-Training-Alignment-Evaluierungen auf Qualität und Abdeckung | Folgeprüfung Anfang 2027 beabsichtigt [1] |
| Goodfire | Analyse der Modellinnereien (Interpretability) | Will auch Erkenntnisse veröffentlichen [1] |
Apollo Research: Vier Aussagen zu Subversion
Bei Apollo geht es darum, ob Modelle verdeckt gegen die Absichten der Entwickler arbeiten könnten. Das nennt sich Subversion [1]. Geprüft werden vier Aussagen in zwei Stufen [1]:
- Das Training hat Subversion nicht begünstigt.
- Evaluierungen und Red-Teaming rufen keine Subversion hervor.
- Modelle haben in der internen Nutzung keine Subversion versucht.
- Die Argumentation hinter Subversion wäre erkennbar.
METR, Transluce und Goodfire im Überblick
METR soll den bisher größten Reinforcement-Learning-Lauf (RL) von OpenAI prüfen, also ein Training, bei dem ein Modell über Belohnungen lernt. Die Prüfung soll auch Fehlverhalten finden, das bestehende Tests und Monitore übersehen haben könnten [1]. Dazu kommt eine Monitor-Prüfung, also ein Belastungstest der Überwachungssysteme. Sie ist nur vorläufig vereinbart, der Umfang steht unter dem Vorbehalt gegenseitiger Zustimmung. OpenAI räumt ein, dass er kleiner ist als in METRs eigenem Vorschlag [1]. Zuvor gab es eine dreiwöchige Monitor-Red-Teaming-Übung mit METR [1].
Transluce prüft zunächst die Post-Training-Alignment-Evaluierungen auf Qualität und Abdeckung. Für Anfang 2027 ist eine Folgeprüfung von etwa acht Wochen beabsichtigt. Sie soll breiteren Zugang bieten und zeigen, wie Ergebnisse in Freigabeentscheidungen einfließen [1].
Goodfire bettet Forschende für Interpretability ein und nutzt seine Plattform, um das Innere der Modelle zu analysieren. Ziel sind Überwachung, Debugging und Alignment des Trainingslaufs. Hauptadressaten sind OpenAI-interne Forschende [1].
Welchen Zugang bekommen die Prüfer und was bleibt gesperrt?
Die Prüfer erhalten je nach Bedarf Zugang zu mehreren Bereichen [1]:
- Modell-Checkpoints (gespeicherte Zwischenstände des Trainings)
- Quellcode
- Trainings- und Evaluierungsdaten
- Monitoring-Systeme
- technische Dokumentation
- Gespräche mit Forschenden und Ingenieuren
Wer sensible Informationen einsieht, arbeitet vor Ort in OpenAI-Büros mit OpenAI-Geräten. Mindestens gelten dieselben Sicherheitsstandards wie für OpenAI-Mitarbeitende [1].
Bei besonders sensiblem geistigem Eigentum wie Modellgewichten oder der Architektur prüft OpenAI Alternativen, etwa gemeinsame Analysen mit OpenAI-Forschenden [1]. Eine pauschale Herausgabe der Gewichte ist damit nicht zugesagt.
Wie unabhängig sind die Prüfer?
Die Prüfer publizieren nach Angaben von OpenAI unabhängig. Es gibt aber mehrere Punkte, die die Unabhängigkeit begrenzen oder zumindest einschränken können [1].
Vergütung. Apollo Research und Goodfire erhalten eine Vergütung, die nicht vom Ergebnis abhängt. METR und Transluce erhalten keine Vergütung, können aber API-Guthaben oder Rechenleistung annehmen. OpenAI hält die Unabhängigkeit dennoch für gewahrt und legt das offen [1].
Arbeit vor Ort. Sensible Informationen sind nur in OpenAI-Büros auf OpenAI-Geräten einsehbar [1].
Gespräche. Unterhaltungen mit Mitarbeitenden sind „off the record“ und nicht veröffentlichbar [1].
Schwärzung und Verzögerung. OpenAI behält sich vor, vertrauliche Informationen zu schwärzen und Verzögerungen aus Gründen der verantwortungsvollen Offenlegung zu verlangen [1].
Wer entscheidet bei Streit und wer sieht die Berichte?
Meinungsverschiedenheiten zwischen OpenAI und den Prüfern gehen zuerst an die Safety Advisory Group, eine interne Eskalationsstufe, und an die Führung. Danach geht der Fall an das Safety and Security Committee (SSC) [1]. Das SSC ist ein unabhängiger Aufsichtsausschuss des Boards der OpenAI Foundation und erhält ungeschwärzte Berichte [1].
Zusätzlich gibt es einen Attestierungsweg. Prüfer können von OpenAI bestätigte Aussagen anfordern und veröffentlichen. Verweigert OpenAI die Bestätigung, dürfen die Prüfer auch das offenlegen [1]. So bleibt eine Verweigerung nicht im Verborgenen.
Die Entscheidung fällt aber letztlich innerhalb der OpenAI-Strukturen. Ob das SSC in der Praxis anders entscheidet als die Führung, lässt sich bisher nicht beurteilen.
Was ist der Unterschied zu Red-Teaming und klassischen Drittprüfungen?
Die Prüfer arbeiten eingebettet, länger und mit tieferem Zugang als bei punktuellen externen Tests. Das ist der Kern des Ansatzes [1]. Ein Beispiel für eine zeitlich begrenzte Übung ist die dreiwöchige Monitor-Red-Teaming-Runde mit METR, die den Prüfungen vorausging [1].
| Kriterium | Punktueller externer Test | Embedded Assessment |
|---|---|---|
| Dauer | begrenzt | über längere Zeit [1] |
| Zugang | meist zum fertigen Modell | je nach Bedarf bis zu Checkpoints, Code und Daten [1] |
| Ort | oft außerhalb des Labors | sensible Informationen nur vor Ort bei OpenAI [1] |
| Bindung | locker | vertraglich und räumlich enger [1] |
Die Zeilen zu „Dauer“ und „Zugang“ links beschreiben allgemein übliche Tests. Rechts stehen die Angaben von OpenAI. Der Vorteil tieferer Einblicke geht mit größerer Nähe zum Hersteller einher. OpenAI selbst nennt die Normen für solche Prüfungen noch nicht standardisiert [1].
Grenzen und offene Fragen
Es gibt bislang keine veröffentlichten Befunde [4]. Termine für Berichte nennt die Ankündigung nicht, auch nicht den Umfang möglicher Schwärzungen [1].
Offen sind außerdem:
- METR-Monitor-Prüfung: Sie ist vorläufig vereinbart, der Umfang steht unter Vorbehalt [1].
- Interessenkonflikte und Cool-off-Perioden: Regeln dazu werden mit den Prüfern noch entwickelt [1]. Eine Cool-off-Periode ist eine Karenzzeit für Prüfer-Personal, bevor es bei einem anderen KI-Entwickler eingebettet arbeitet [1].
- Wirksamkeit der Unabhängigkeit: Sie ist nicht unabhängig bewertet.
- White House Accord on Super Intelligence: OpenAI verweist auf Verpflichtungen darin, die unabhängige Prüfungen der Sicherheitskontrollen vorsehen [1].
- EU-KI-Verordnung: Eine Verbindung zu Pflichten nach der EU-KI-Verordnung ist nicht belegt. Wer solche Pflichten bewerten muss, sollte das im Einzelfall rechtlich prüfen lassen.
Fazit: Was Nutzer und Unternehmen daraus mitnehmen
OpenAI bindet externe Prüfer enger ein als bei punktuellen Tests. Bisher ist das eine Ankündigung des Herstellers: Befunde fehlen [4], und Schwärzungsrecht, Vergütung und Arbeit vor Ort begrenzen die Unabhängigkeit [1]. Wer Sicherheitszusagen von Anbietern bewertet, sollte auf veröffentlichte Berichte, die Praxis der Attestierungen und die noch ausstehenden Regeln zu Interessenkonflikten achten.
Weitere aktuelle OpenAI-Meldungen: OpenAI Dots: Was der KI-Agent kann und wer ihn bekommt und GPT-6.2 Astra und Sol im Überblick.
Häufige Fragen
Was bedeutet Cool-off-Periode bei den Prüfern?
Eine Cool-off-Periode ist eine Karenzzeit für Prüfer-Personal, bevor es bei einem anderen KI-Entwickler eingebettet arbeitet [1]. Sie soll Interessenkonflikte begrenzen, etwa durch die Weitergabe von Wissen über interne Systeme. Die konkreten Regeln dazu sowie zu Interessenkonflikten werden laut OpenAI noch mit den Prüfern entwickelt, sind also noch nicht festgelegt [1].
Kann OpenAI Berichte der Prüfer verhindern?
Nach den Angaben von OpenAI publizieren die Prüfer unabhängig, doch OpenAI behält sich vor, vertrauliche Informationen zu schwärzen und Verzögerungen aus Gründen der verantwortungsvollen Offenlegung zu verlangen [1]. Wer eine Bestätigung von OpenAI anfordert und sie nicht erhält, darf die Verweigerung offenlegen [1]. Eine vollständige Verhinderung ist nicht vorgesehen.
Werden Modellgewichte an die Prüfer weitergegeben?
Das ist nicht zugesagt. Sensible Informationen sehen die Prüfer nur vor Ort in OpenAI-Büros auf OpenAI-Geräten. Bei besonders sensiblem geistigem Eigentum wie Gewichten oder Architektur prüft OpenAI Alternativen, etwa gemeinsame Analysen mit OpenAI-Forschenden [1]. Welche Lösung am Ende gilt, geht aus der Ankündigung nicht hervor.
Gibt es schon Ergebnisse der Prüfungen?
Nein, bislang sind keine Befunde veröffentlicht worden [4]. Auch Termine für Berichte nennt OpenAI nicht [1]. Für Transluce ist Anfang 2027 eine Folgeprüfung von etwa acht Wochen beabsichtigt [1]. Die METR-Monitor-Prüfung ist zudem nur vorläufig vereinbart, ihr Umfang steht unter dem Vorbehalt gegenseitiger Zustimmung [1].
Betrifft das Nutzer von ChatGPT direkt?
Direkte Auswirkungen auf Produkte sind nicht belegt. Die Prüfungen konzentrieren sich auf Alignment und Schutzmaßnahmen bei Training und interner Nutzung [1]. Mittelbar können sie relevant werden, wenn Berichte oder Attestierungen veröffentlicht werden und zeigen, wie belastbar die Sicherheitszusagen von OpenAI sind. Dazu liegen bislang keine Befunde vor [4].
Quellen
- Our first phase of embedded assessments, OpenAI, 13.11.2026
- OpenAI launches first phase of embedded assessments with external experts, UC Today
- OpenAI Signs Four Independent Assessors for Embedded Safety Reviews, Unite.AI
- OpenAI Signs Embedded Assessment Agreements With Apollo Research, METR, Transluce, and Goodfire, AuditCommons
Artikel teilen
Mit KI-Unterstützung recherchiert und geschrieben, fachlich geprüft von Hannes Ftuni am 19. November 2026. Herausgeber: Heisenberg IT GmbH, Bochum.


