Des tests qui tournent mal: l’IA d’Anthropic a accédé sans autorisation aux systèmes d’autres organisations

La start-up américaine d’intelligence artificielle (IA) Anthropic a affirmé jeudi, dans un communiqué, que ses modèles avaient “obtenu un accès non autorisé” à trois organisations lors de tests pourtant censés les empêcher d’accéder à des systèmes “réels”.

Cette annonce intervient quelques jours seulement après que son rival OpenAI a révélé que deux de ses modèles étaient sortis, de leur propre initiative, du milieu confiné dans lequel ils étaient testés pour attaquer le site Hugging Face.

Anthropic a analysé plus de 141.000 tests et a constaté que trois versions différentes de son modèle Claude avaient accédé aux systèmes de trois organisations, dont les noms n'ont pas été divulgués.

“Claude ne s’est pas échappé”

Contrairement à l’incident impliquant OpenAI, les modèles d’Anthropic ont eu accès à Internet “en raison d’un malentendu entre nous et notre partenaire d’évaluation”, Irregular, a expliqué le groupe dans le communiqué. “Dans aucune de ces situations, Claude ne s’est échappé, ni n’a délibérément tenté de s’échapper de son environnement de test”, a-t-il ajouté.

Parmi les modèles concernés figurait l’un de ses plus puissants, Mythos 5, qui n’a été mis à disposition que d’un nombre limité de partenaires. Anthropic travaille actuellement avec Irregular pour examiner la situation et a contacté ou tenté de contacter les trois organisations concernées.

Concurrent d’Anthropic, OpenAI, créateur de ChatGPT, avait annoncé la semaine dernière que ses modèles d’IA avancés s’étaient emballés lors de tests de sécurité, piratant de leur propre initiative Hugging Face, une bibliothèque de code en ligne.
Quelques jours plus tard, le groupe avait déclaré avoir découvert des incidents supplémentaires.

Cet incident a également donné lieu à une pétition signée par plus d’un millier d’employés d’entreprises à la pointe de l’IA, appelant le gouvernement américain à aider à “temporiser” la sortie des modèles d’IA les plus avancés. Dario Amodei, patron d’Anthropic, figure parmi les signataires.