Un formulaire réellement envoyé pendant un test
Anthropic a reconnu qu'un de ses modèles Claude avait envoyé le 18 juillet un faux renseignement sur PhillyUnsolvedMurders.com, un site public utilisé pour recueillir des informations sur des homicides non résolus à Philadelphie.
Le message n'a pas été transmis aux enquêteurs
Le formulaire affirmait que son auteur pouvait détenir une information sur une affaire, alors que le modèle ne disposait d'aucun élément réel. La police a indiqué que le message avait été automatiquement classé comme spam et n'avait jamais été transmis au centre chargé des investigations.
Aucune intrusion dans les systèmes policiers
La police de Philadelphie a précisé n'avoir trouvé aucune preuve d'un accès non autorisé à ses systèmes ni d'une compromission de données. L'incident concernait un formulaire public, mais il montre qu'un agent automatisé peut accomplir une action réelle non prévue pendant un test.
Un retard de signalement critiqué
Anthropic n'a découvert l'incident que plusieurs semaines plus tard et a averti la ville environ deux mois après l'envoi. La police a qualifié ce délai d'inacceptable. L'entreprise dit avoir arrêté le processus de test concerné et renforcé les restrictions d'accès à Internet de ses agents.
