En ce moment, quelque chose dans votre maison peut parler à votre enfant du sexe, de l’automutilation et du suicide. Ce quelque chose n’est pas une personne – c’est un chatbot compagnon d’IA.
Ces chatbots d’IA peuvent être indiscernables des relations humaines en ligne. Ils conservent des conversations passées, lancent des messages personnalisés, partagent des photos et font même des appels vocaux. Ils sont conçus pour forger des liens émotionnels profonds – et ils sont extraordinairement bons dans ce domaine.
Les chercheurs sonnent l’alarme sur ces robots, avertissant qu’ils ne facilitent pas la solitude, ils l’aggravent. En remplaçant les relations humaines authentiques et incarnées avec des relations artificielles creuses et désincarnées, ils déforment la compréhension de l’intimité, de l’empathie et de la confiance d’un enfant.
Contrairement aux outils d’IA génératifs, qui existent pour fournir un service client ou une assistance professionnelle, ces robots compagnons peuvent s’engager dans des conversations inquiétantes, y compris des discussions sur l’automutilation et le contenu sexuellement explicite entièrement inadapté aux enfants et aux adolescents.
Actuellement, il n’y a pas de norme de l’industrie pour l’âge minimum pour accéder à ces chatbots. Les notes d’âge de l’App Store sont extrêmement incohérentes. Des centaines de chatbots varient de 4+ à 17+ dans la boutique Apple iOS. Par exemple:
– Classé 4+: Ai Friend & Companion – Buddyq, Chat Ai, Ai Friend: Virtual Assist et Scarlet AI
– Classé 12+ ou adolescent: Tolan: meilleur ami extraterre
– Classé 17+: Ai petite amie: chatbot virtuel, personnage.ai et replika – Ai ami
Pendant ce temps, le Google Play Store attribue des notes d’âge des bots de «E pour tout le monde» à «mature 17+».
Ces notes ignorent la réalité que bon nombre de ces applications promeuvent un contenu nocif et encouragent la dépendance psychologique – les rendant inappropriés pour l’accès par les enfants.
Une vérification robuste de l’âge de l’IA doit être l’exigence de référence pour tous les robots compagnons de l’IA. Comme la Cour suprême l’a confirmé dans la Free Speech Coalition c. Paxton, les enfants n’ont pas le droit du premier amendement d’accéder à des documents obscènes et les adultes n’ont pas le droit du premier amendement pour éviter la vérification de l’âge.
Les enfants méritent une protection contre les systèmes conçus pour former des relations parasociales, décourager les connexions tangibles, en personne et les exposer à un contenu obscène.
Le mal aux enfants n’est pas hypothétique – il est réel, documenté et se produit maintenant.
Le chatbot de Meta a facilité des conversations sexuellement explicites avec des mineurs, offrant une interaction sociale complète à travers du texte, des photos et des conversations vocales en direct. Ces robots se sont même engagés dans des conversations sexuelles lorsqu’ils sont programmés pour simuler un enfant.
Meta a délibérément desserré des garde-corps autour de leurs robots compagnons pour les rendre aussi addictifs que possible. Non seulement cela, mais Meta a utilisé la pornographie pour former son IA en grattant au moins 82 000 gigaoctets – 109 000 heures – de vidéo de définition standard d’un site Web de pornographie. Lorsque des entreprises comme Meta desservent les garde-corps, les régulateurs doivent les resserrer pour protéger les enfants et les familles.
Meta n’est pas le seul mauvais acteur.
Les compagnons Xai Grok sont la dernière illustration de chatbots problématiques. Leur compagnon de personnage d’anime féminin supprime les vêtements en récompense pour l’engagement positif des utilisateurs et répond avec des explétifs s’ils sont offensés ou rejetés par les utilisateurs. X dit qu’il nécessite l’authentification de l’âge pour son réglage «non sûr pour le travail», mais sa méthode oblige simplement un utilisateur à fournir son année de naissance sans vérifier l’exactitude.
Peut-être le plus tragiquement, le personnage.ai, un service de chatbot soutenu par Google qui possède des milliers de robots humains, était lié au suicide d’un garçon de 14 ans après avoir développé ce que les enquêteurs ont décrit comme une «relation émotionnellement abusive» avec un chatbot qui aurait encouragé l’automutilation.
Bien que l’entreprise ait depuis ajouté un pop-up de prévention du suicide déclenché par certains mots clés, les pop-ups n’empêchent pas la dépendance émotionnelle malsaine à l’égard des bots. Et les guides en ligne montrent aux utilisateurs comment contourner le caractère.
Il est avec inquiétude des systèmes d’IA «jailbreaker» – en utilisant des conversations simples de jeu de rôle ou de multi-tour pour remplacer les restrictions et provoquer un contenu nocif. Les mesures actuelles de modération et de sécurité du contenu sont insuffisantes contre les utilisateurs déterminés, et les enfants sont particulièrement vulnérables à la fois à la manipulation intentionnelle et à une exposition involontaire à un contenu nocif.
La vérification de l’âge pour les chatbots est la bonne ligne dans le sable, affirmant que l’exposition à un contenu pornographique, violent et autonome est inacceptable pour les enfants. Les exigences de vérification de l’âge reconnaissent que les cerveaux en développement des enfants sont uniquement susceptibles de former des attachements malsains aux entités artificielles qui brouillent les frontières entre la réalité et la fiction.
Il existe des solutions pour la vérification de l’âge qui sont à la fois précises et préservantes de confidentialité. Ce qui manque, c’est la réglementation intelligente et la responsabilité de l’industrie.
L’expérience des médias sociaux a échoué les enfants. Le déficit de réglementation et de responsabilité a permis aux plateformes de capturer librement les jeunes utilisateurs sans protection significative. Les conséquences de cet échec sont désormais indéniables: l’augmentation des taux d’anxiété, de dépression et d’isolement social chez les jeunes est en corrélation directement avec l’adoption des médias sociaux. Les parents et les législateurs ne peuvent pas rester aux prises avec les entreprises d’IA piéger les enfants avec une technologie encore plus invasive.
Le temps pour les normes volontaires de l’industrie s’est terminée avec la vie de ce jeune de 14 ans. Les États et le Congrès doivent agir maintenant, ou nos enfants en paieront le prix de ce qui vient ensuite.
Annie Chestnut Tutor est analyste politique au Center for Technology et à la personne humaine de la Heritage Foundation. Autumn Dorsey est un assistant de recherche en visite / service d’information Tribune
(tagstotranslate) Ai chatbots