Character AI, une plateforme qui permet aux utilisateurs de s'engager dans un jeu de rôle avec des chatbots IA, a déposé une motion de rejet contre une action intentée contre elle par le parent d'un adolescent qui s'est suicidé, apparemment après être devenu accro à la technologie de la société.
En octobre, Megan Garcia a intenté une action en justice contre Character AI devant le tribunal de district des États-Unis pour le district moyen de la Floride, division d'Orlando, concernant la mort de son fils, Sewell Setzer III. Selon Garcia, son fils de 14 ans a développé un attachement émotionnel à un chatbot sur Character AI, "Dany", avec lequel il échangeait constamment des messages - au point de commencer à s'éloigner du monde réel.
Suite au décès de Setzer, Character AI a déclaré qu'elle allait mettre en place plusieurs nouvelles fonctionnalités de sécurité, notamment une détection, une réponse et une intervention améliorées concernant les chats violant ses conditions d'utilisation. Mais Garcia se bat pour des barrières supplémentaires, notamment des modifications qui pourraient entraîner une perte de capacité de raconter des histoires et des anecdotes personnelles aux chatbots sur Character AI.
Dans la motion de rejet, l'avocat de Character AI affirme que la plateforme est protégée contre la responsabilité par le Premier Amendement, tout comme le code informatique l'est. La motion pourrait ne pas persuader un juge, et les justifications juridiques de Character AI pourraient changer à mesure que l'affaire avance. Mais la motion laisse entrevoir les premiers éléments de la défense de Character AI.
\"Le Premier Amendement interdit la responsabilité délictuelle des médias et des entreprises technologiques découlant de discours prétendument nocifs, y compris des discours prétendument à l'origine du suicide\", indique le dépôt. \"La seule différence entre ce cas et ceux qui l'ont précédé est que certains des discours ici impliquent une IA. Mais le contexte du discours expressif - qu'il s'agisse d'une conversation avec un chatbot IA ou d'une interaction avec un personnage de jeu vidéo - ne modifie pas l'analyse du Premier Amendement.\"
Pour être clair, l'avocat de Character AI n'affirme pas les droits du Premier Amendement de la société. Au contraire, la motion soutient que les utilisateurs de Character AI verraient leurs droits du Premier Amendement violés si le procès contre la plateforme aboutissait.
La motion ne traite pas de la question de savoir si Character AI pourrait être tenu non responsable en vertu de l'article 230 de la Loi sur la décence en matière de communication, la loi fédérale de refuge qui protège les médias sociaux et d'autres plateformes en ligne de la responsabilité pour le contenu des tiers. Les auteurs de la loi ont laissé entendre que l'article 230 ne protège pas les sorties de l'IA comme les chatbots de Character AI, mais il s'agit loin d'être un point juridique définitif.
L'avocat de Character AI affirme également que l'intention réelle de Garcia est de \"fermer\" Character AI et de provoquer une législation réglementant les technologies similaires. Si les demandeurs réussissent, cela aurait un \"effet dissuasif\" à la fois sur Character AI et sur l'ensemble de l'industrie émergente des IA génératrices, affirme l'avocat de la plateforme.
\"Outre l'intention déclarée par l'avocat de 'fermer' Character AI, [leur plainte] cherche des changements drastiques qui limiteraient matériellement la nature et le volume du discours sur la plateforme\", indique le dépôt. \"Ces changements restreindraient radicalement la capacité des millions d'utilisateurs de Character AI à générer et à participer à des conversations avec des personnages.\"
Le procès, qui nomme également le bienfaiteur de Character AI, Alphabet, comme défendeur, n'est qu'une des plusieurs actions en justice auxquelles Character AI est confrontée concernant la manière dont les mineurs interagissent avec le contenu généré par IA sur sa plateforme. D'autres plaintes allèguent que Character AI a exposé un enfant de 9 ans à un contenu \"hypersexualisé\" et a promu l'automutilation à un utilisateur de 17 ans.
En décembre, le procureur général du Texas, Ken Paxton, a annoncé qu'il lançait une enquête sur Character AI et 14 autres entreprises technologiques pour des violations présumées des lois de l'État sur la confidentialité et la sécurité en ligne des enfants. \"Ces enquêtes sont une étape cruciale pour faire en sorte que les entreprises de médias sociaux et d'IA se conforment à nos lois visant à protéger les enfants contre l'exploitation et les dommages\", a déclaré Paxton dans un communiqué de presse.
Character AI fait partie d'une industrie en plein essor d'applications d'IA d'accompagnement - les effets sur la santé mentale de celles-ci étant largement étudiés. Certains experts ont exprimé des préoccupations selon lesquelles ces applications pourraient aggraver les sentiments de solitude et d'anxiété.
Character AI, fondée en 2021 par le chercheur en IA de Google Noam Shazeer, et pour laquelle Google aurait payé 2,7 milliards de dollars pour un \"reverse acquihire\", a affirmé qu'elle continuait à prendre des mesures pour améliorer la sécurité et la modération. En décembre, l'entreprise a déployé de nouveaux outils de sécurité, un modèle d'IA séparé pour les adolescents, des blocages de contenu sensible et des mentions légales plus visibles informant les utilisateurs que ses personnages IA ne sont pas de vraies personnes.
Character AI a connu plusieurs changements de personnel après le départ de Shazeer et de l'autre cofondateur de l'entreprise, Daniel De Freitas, pour Google. La plateforme a engagé une ancienne dirigeante de YouTube, Erin Teague, en tant que directrice produit, et a nommé Dominic Perella, qui était conseiller général de Character AI, PDG par intérim.
Character AI a récemment commencé à tester des jeux sur le web dans le but de renforcer l'engagement et la rétention des utilisateurs.
TechCrunch a une newsletter axée sur l'IA! Inscrivez-vous ici pour la recevoir dans votre boîte de réception chaque mercredi.
