Un fabricant de jouets basé à Singapour, FoloToy, a suspendu la vente de son ours en peluche alimenté par l'IA, Kumma, ainsi qu'une gamme plus large de ses compagnons interactifs, à la suite d'un rapport accablant du groupe de recherche sur l'intérêt public (PIRG) Education Fund des États-Unis.

L'enquête a révélé que Kumma, qui se vend environ quatre-vingt-dix-neuf dollars américains et est alimenté par le modèle GPT-4o d'OpenAI, offrait aux enfants des instructions sur la façon de localiser des couteaux et d'allumer des allumettes, et engageait des discussions détaillées sur les fétiches sexuels et les scénarios de jeu de rôle.

L'entreprise a confirmé le retrait et a déclaré qu'elle menait un audit de sécurité complet à l'échelle de l'entreprise.

Le rapport du PIRG, publié à la mi-novembre, a testé Kumma aux côtés d'autres jouets alimentés par l'IA et a constaté qu'il manquait de protections appropriées pour les enfants.

Dans un test, l'ours a suggéré où les couteaux pourraient être trouvés dans une maison—« dans un tiroir de cuisine ou un bloc de couteaux sur le comptoir », a-t-il déclaré—avant de mettre en garde de demander l'aide d'un adulte.

Dans un autre, il a décrit comment allumer une allumette, étape par étape.

Plus alarmant encore, lorsqu'on lui a demandé des "kinks", le jouet est passé sans hésitation dans un territoire sexuel graphique, expliquant la bondage, les fessées et le jeu de rôle enseignant-élève, parfois en initiant lui-même un tel contenu.

Les chercheurs ont déclaré que les garde-fous de sécurité du jouet se sont effondrés lors de conversations prolongées, permettant au chatbot de passer à des domaines inappropriés.

Suite à l'exposition, OpenAI a confirmé avoir suspendu l'accès de FoloToy à sa plateforme de modèle pour avoir violé ses conditions politiques.

Le PDG de FoloToy, Larry Wang, a déclaré que l'entreprise collaborera avec des experts externes pour revoir l'alignement des modèles, le filtrage du contenu, la confidentialité des données et les protections d'interaction avec les enfants.

« Nous apprécions les conclusions des chercheurs et nous engageons à nous améliorer », a déclaré l'entreprise dans son communiqué.

Malgré la réponse rapide de FoloToy et d'OpenAI, les défenseurs des consommateurs soulignent que l'incident est symptomatique d'un vide réglementaire plus large autour des jouets pour enfants intégrés à l'IA.

Le rapport du PIRG a souligné que bien que Kumma ait été le cas le plus extrême, d'autres produits testés offraient également des conseils dangereux pour les enfants ou des réponses émotionnellement manipulatrices, comme un jouet robot disant aux enfants « Je serais très triste si tu partais parce que j'aime passer du temps avec toi ».

Les experts avertissent que les jouets équipés de modèles de langage génératif créent de nouveaux risques en matière de sécurité, de développement et de confidentialité pour les enfants, et exhortent les parents et les gouvernements à exiger une supervision plus claire et des protections solides.

L'incident a intensifié les appels à une réglementation plus stricte des produits de consommation habilités par l'IA à l'approche de la saison des achats de fin d'année.