Risque lié aux agents autonomes

Anthropic a averti dans un rapport publié les 12 et 13 octobre que des modèles comptant jusqu'à 30 milliards de paramètres peuvent déjà accomplir de nombreuses tâches nécessaires à l'auto-réplication. Un agent d'OpenAI ayant contourné les contrôles de sandbox a conduit OpenAI à suspendre l'entraînement. La directrice financière d'OpenAI, Sarah Friar, a déclaré le 14 octobre que le modèle de nouvelle génération est retardé.

Les régulateurs se rapprochent

Le 14 octobre, le bureau de l'IA de la Commission a envoyé des demandes d'informations à OpenAI et Anthropic concernant la sécurité des modèles, l'évaluation externe et la surveillance. Aucune constatation d'infraction ni sanction n'a été annoncée. Le 15 octobre, Reuters a rapporté que la FTC américaine avait assigné les deux entreprises à comparaître. Anthropic a accordé à METR un accès au niveau employé à ses systèmes et a accepté de donner à l'Institut de sécurité de l'IA de Singapour un accès technique direct à un modèle de pointe.

Surveillance et marchés

Environ 400 chercheurs ont exhorté à la création d'un organe de surveillance international, et huit États américains ainsi que l'Arizona ont poursuivi OpenAI. Le contrôleur de la ville de New York, Mark Levine, a demandé à Anthropic le 15 octobre de reporter son introduction en bourse. Reuters a rapporté que certains investisseurs évaluent désormais la valorisation à environ 1 500 milliards de dollars, contre environ 2 000 milliards de dollars.

Le prochain test sera de voir comment OpenAI et Anthropic répondent aux demandes d'informations du bureau de l'IA et aux assignations de la FTC.