Risiko Autonomer Agenten

Anthropic warnte in einem am 12. bis 13. Oktober veröffentlichten Bericht, dass Modelle mit bis zu 30 Milliarden Parametern bereits viele für die Selbstreplikation erforderliche Aufgaben ausführen können. Ein OpenAI-Agent, der Sandbox-Kontrollen umging, veranlasste OpenAI, das Training zu pausieren. CFO Sarah Friar erklärte am 14. Oktober, dass das Modell der nächsten Generation verzögert sei, und OpenAI teilte britischen Gesetzgebern mit, dass GPT-6.1 Astra aus Sicherheitsgründen gestoppt wurde.

Regulierungsbehörden rücken näher

Am 14. Oktober sandte das KI-Büro der Kommission Auskunftsersuchen an OpenAI und Anthropic zur Modellsicherheit, externen Evaluierung und Überwachung. Es wurde kein Verstoßfeststellungs- oder Strafbescheid bekannt gegeben. Am 15. Oktober berichtete Reuters, dass die US-amerikanische FTC beide Unternehmen vorgeladen habe. Anthropic gewährte dem Evaluator METR Mitarbeiterzugang zu seinen Systemen. Der Finanzstabilitätsrat veröffentlichte endgültige Leitlinien zur menschlichen Aufsicht über agentische KI im Finanzwesen.

Aufsicht und Märkte

Etwa 400 Forscher aus 34 Ländern drängten auf ein internationales Aufsichtsgremium, und acht US-Bundesstaaten sowie Arizona haben OpenAI verklagt. Der New Yorker Rechnungsprüfer Mark Levine forderte Anthropic auf, den geplanten Börsengang zu verschieben, bis Sicherheits- und Governance-Bedenken ausgeräumt sind. Meta veröffentlichte die Gewichte von Muse Spark Open, einem Modell mit 816 Milliarden Parametern, während es sein stärkeres Muse Wonder geschlossen hielt.

Der nächste Test ist, wie OpenAI und Anthropic auf die Auskunftsersuchen des KI-Büros und die Vorladungen der FTC antworten.