Anthropic und Accenture haben eine strategische Partnerschaft für die unabhängige Evaluierung von Frontier-KI angekündigt. Ziel ist die sogenannte Embedded Evaluation, bei der externe Experten direkt im Unternehmen arbeiten und tiefe Einblicke in die Entwicklung und Sicherheit von KI-Modellen erhalten. Diese Initiative setzt das Versprechen von Anthropic-CEO Dario Amodei in die Tat um, Sicherheitsstandards in der KI-Entwicklung nachhaltig zu erhöhen.

Was bedeutet Embedded Evaluation?

Embedded Evaluation ist ein neuartiger Ansatz zur Überprüfung fortschrittlicher KI-Systeme. Anders als externe Gutachter arbeiten eingebettete Evaluatoren direkt innerhalb des KI-Unternehmens und besitzen einen Zugang, der dem regulärer Mitarbeiter entspricht. Sie können den Trainingsprozess der Modelle verfolgen, sicherheitsrelevante Entscheidungen nachvollziehen und direkt mit Entwicklerteams kommunizieren.

Diese einzigartige Position ermöglicht es den Experten, Sicherheitsverpflichtungen zu verifizieren, potenzielle Schwachstellen frühzeitig zu identifizieren und Vorfälle zu melden. Zudem können sie der Öffentlichkeit ein fundiertes Bild von den Chancen und Risiken moderner KI-Systeme vermitteln.

Die Partnerschaft im Überblick

Die Zusammenarbeit wird von Faculty, der spezialisierten KI-Einheit von Accenture, geleitet. Das Team übernimmt umfassende Aufgaben wie die Evaluierung und das Red-Teaming von Modellen, die Durchführung von Alignment-Assessments sowie den Test von Sicherheitsmechanismen.

Accenture bringt hierbei wertvolle Praxiserfahrung ein, da das Unternehmen weltweit Organisationen und Regierungen bei der Einführung von KI-Lösungen unterstützt. Dieses Know-how aus der realen Anwendung fließt direkt in die Bewertung der Anthropic-Modelle ein.

Investitionen und Zeitplan

Beide Unternehmen planen, jeweils mindestens eine Milliarde US-Dollar über die kommenden fünf Jahre in den Aufbau entsprechender Kapazitäten zu investieren. Da es bislang weder etablierte Standards für den Informationszugang von Evaluatoren noch ein festes System zur Finanzierung unabhängiger Prüfungen gibt, übernimmt Anthropic vorerst die direkte Finanzierung der Accenture-Arbeit.

Langfristig strebt Anthropic jedoch gemeinsame oder staatliche Finanzierungsquellen an, wie bereits im Advanced AI Framework vom Juni gefordert. Parallel dazu kooperiert das Unternehmen mit Organisationen wie METR und anderen gemeinnützigen Evaluatoren, um verschiedene Finanzierungsmodelle zu erproben.

Rechenschaftspflicht bleibt bestehen

Anthropic betont ausdrücklich, dass die eingebetteten Evaluatoren die eigene Verantwortung für die Modellsicherheit nicht abschwächen. Vielmehr sollen sie die Überprüfbarkeit und Transparenz dieser Verantwortung erhöhen. Die Partnerschaft mit Accenture ist bewusst nicht exklusiv: Anthropic wird in den kommenden Wochen weitere Evaluatoren benennen, während Accenture auch mit anderen KI-Entwicklern zusammenarbeitet.

Ausblick auf ein gemeinsames Ökosystem

Ziel ist die Schaffung eines breiten Evaluatoren-Ökosystems, das nach gemeinsamen Standards arbeitet. Anthropic will weiterhin Frontier-Modelle entwickeln und veröffentlichen, dabei aber von unabhängigen Experten begleitet werden. Die frühzeitige Kommunikation dieser Schritte soll Transparenz schaffen und der gesamten Branche als Orientierung dienen.

Der Ansatz wird sich voraussichtlich weiterentwickeln, sobald sich Standards in der noch jungen Disziplin der Embedded Evaluation etablieren.

Quelle: Anthropic