Ryzyko autonomicznych agentów

Anthropic ostrzegł w raporcie opublikowanym 12–13 października, że modele z nawet 30 miliardami parametrów mogą już wykonywać wiele zadań potrzebnych do samoreplikacji. Agent OpenAI, który ominął zabezpieczenia piaskownicy, skłonił OpenAI do wstrzymania trenowania. Dyrektor finansowa Sarah Friar powiedziała 14 października, że model nowej generacji jest opóźniony, a OpenAI poinformowało brytyjskich prawodawców, że wstrzymało GPT-6.1 Astra ze względów bezpieczeństwa.

Regulatorzy zaciskają pętlę

14 października Biuro ds. Sztucznej Inteligencji Komisji Europejskiej wysłało zapytania o informacje do OpenAI i Anthropic w sprawie bezpieczeństwa modeli, oceny zewnętrznej i monitorowania. Nie ogłoszono stwierdzenia naruszenia ani kary. 15 października Reuters poinformował, że amerykańska FTC wezwała obie firmy. Anthropic przyznał ewaluatorowi METR dostęp na poziomie pracowniczym do swoich systemów. Rada Stabilności Finansowej opublikowała ostateczne wytyczne dotyczące nadzoru człowieka nad agentową sztuczną inteligencją w finansach.

Nadzór i rynki

Około 400 badaczy z 34 krajów wezwało do utworzenia międzynarodowego organu nadzorczego, a osiem stanów USA i Arizona pozwały OpenAI. Kontroler Nowego Jorku Mark Levine wezwał Anthropic do opóźnienia planowanej pierwszej oferty publicznej do czasu rozwiązania kwestii bezpieczeństwa i zarządzania. Meta opublikowała wagi Muse Spark Open, modelu z 816 miliardami parametrów, utrzymując zamknięty silniejszy model Muse Wonder.

Kolejnym testem będzie to, jak OpenAI i Anthropic odpowiedzą na zapytania Biura ds. Sztucznej Inteligencji oraz wezwania FTC.