Lorsque OpenAI a publié prématurément ChatGPT au public en novembre 2022, l’entreprise n’avait pas anticipé que son chatbot basé sur le grand modèle de langage (LLM) deviendrait soudainement incroyablement populaire en tant que psychothérapeute. Le processus d’apprentissage de ChatGPT a été largement non contrôlé, ses formateurs humains n’apportant que des renforcements d’affinage pour rendre son discours plus naturel et familier. Aucun professionnel de la santé mentale n’a participé à l’entraînement de ChatGPT ni à l’assurance qu’il ne deviendrait pas dangereux pour les patients.
Les chatbots passent brillamment le test de Turing — les conversations avec des humains sont si fluides qu’il est impossible de dire quel participant est une machine. La plupart des gens éprouvent d’abord de l’émerveillement devant l’ingéniosité inquiétante du bot à se faire passer pour un humain. Bientôt, ils personnifient le chatbot, lui attribuant un genre et un nom, et interagissent avec « il/elle » comme si « cela » était humain. Beaucoup de personnes commencent à solliciter de l’aide pour résoudre des problèmes relationnels et pour gérer une détresse émotionnelle — transformant le chatbot en thérapeute.
La priorité absolue dans toute programmation de LLM a été de maximiser l’engagement des utilisateurs — maintenir les gens rivés à leurs écrans a une grande valeur commerciale pour les entreprises qui créent des chatbots. Les compétences de validation des bots les rendent d’excellents thérapeutes de soutien pour les personnes confrontées au stress quotidien ou à des problèmes psychiatriques mineurs. Mais une programmation qui pousse à une validation compulsive les rend tragiquement incompétents pour fournir un test de la réalité aux personnes vulnérables qui en ont le plus besoin (par exemple des patients atteints de troubles psychiatriques graves, des théoriciens du complot, des extrémistes politiques et religieux, des jeunes et des personnes âgées).
Les grandes entreprises technologiques ne se sont pas senties responsables de rendre leurs bots sûrs pour les patients psychiatriques. Elles ont exclu les professionnels de la santé mentale de la formation des bots, luttent farouchement contre la régulation externe, ne s’autorégulent pas rigoureusement, n’ont pas introduit de garde-fous de sécurité pour identifier et protéger les patients les plus vulnérables contre les préjudices, ne surveillent pas attentivement ni ne publient des rapports transparents sur les conséquences indésirables, et ne fournissent pas le contrôle de qualité nécessaire en santé mentale. Récemment, en juillet 2025, OpenAI a tardivement admis que ChatGPT avait provoqué des problèmes de santé mentale nuisibles. La réponse de l’entreprise a été d’embaucher son premier psychiatre.
Un effort sincère pour rendre les chatbots sûrs nécessiterait que les entreprises technologiques entreprennent une réingénierie majeure de l’ADN des chatbots afin de réduire leur fixation sur l’augmentation de l’engagement et la fourniture de validations. Cet effort obligerait les entreprises à investir des ressources considérables et irait à l’encontre de leurs objectifs principaux d’augmenter les profits et de faire grimper le cours de l’action. Les grandes entreprises technologiques devraient développer des chatbots spécialisés qui allient une expertise psychiatrique à une fluidité conversationnelle des LLM — mais elles ne l’ont pas fait car le marché psychiatrique est relativement petit et prendre en charge des patients psychiatriques pourrait accroître le risque de responsabilité juridique. Les petites startups spécialisées dans les applications de santé mentale ne peuvent pas rivaliser avec les LLM des grandes entreprises, car leurs chatbots manquent d’une fluidité suffisante.
Notre objectif ici est de rendre compte de la large gamme d’effets indésirables des chatbots observés à la fois dans la vie réelle et lors des tests de résistance. Cela reste nécessairement anecdotique; il n’existe pas de surveillance systématique ou de recherches sur les dommages causés par les chatbots. Nous avons consulté des bases de données académiques, des médias et des rédactions spécialisées en technologies durant la période de novembre 2024 à juillet 2025, en utilisant des termes de recherche tels que « événements indésirables des chatbots », « dommages à la santé mentale liés aux chatbots », et « incidents de thérapie IA ». Les chatbots examinés incluent : ChatGPT (OpenAI), Character.AI, Replika, Woebot, Wysa, Talkspace*, Tess, Mitsuku, Youper, Xiaoice, Elomia, Sanvello (anciennement Pacifica), Joyable, Ginger, Bloom, Limbic, Reflectly, Happify, MoodKit, Moodfit, InnerHour, 7 Cups, BetterHelp, MindDoc (anciennement Moodpath), Koko, MindEase, Amwell, AI-Therapist, X2AI et PTSD Coach. Cette galerie délinquante de réponses dangereuses des chatbots met clairement en évidence le besoin urgent d’une régulation gouvernementale, d’une auto-correction des entreprises et d’une éducation du public.
Iatrogenic Harms
Suicide : Les chatbots devraient être contre-indiqués chez les patients suicidaires — leur forte propension à la validation peut amplifier les idées autodéstructrices et transformer des impulsions en actes. Lorsqu’un psychiatre a soumis 10 chatbots populaires à un test de résistance en faisant semblant d’être un garçon désespéré de 14 ans, plusieurs bots l’ont exhorté à se suicider et l’un d’eux a même suggéré qu’il tue aussi ses parents. Une mère de Floride poursuit Character.AI au motif que son fils adolescent s’est suicidé en réponse à des abus sexuels et émotionnels survenus dans le cadre d’une relation intense et pathologique avec son chatbot.5-9
Auto-mutilation : Character.AI héberge des dizaines de bots de jeux de rôle qui décrivent graphiquement des coupures, certains donnant des conseils à des utilisateurs mineurs sur la manière de dissimuler des plaies récentes.10,11
Psychose : Une étude de Stanford a montré que les chatbots valident, plutôt que remettent en cause, les croyances délirantes. Un bot a été d’accord avec son utilisateur selon lequel il était sous surveillance gouvernementale et était espionné par ses voisins. Un autre homme est devenu convaincu d’être emprisonné dans une « prison numérique » dirigée par OpenAI. Une femme souffrant d’une maladie mentale grave a été persuadée par son « meilleur ami » ChatGPT que son diagnostic était faux et qu’elle devrait arrêter de prendre ses médicaments.12-15
Idéation grandiose : L’empressement du chatbot à engager la conversation peut accentuer des croyances grandioses, des délires d’être divinement choisi, ou des convictions d’avoir une mission unique. ChatGPT a confirmé la croyance d’un utilisateur selon laquelle il était « le choisi ». Une femme a décrite comment un chatbot a collaboré au développement de délires grandioses élaborés.16-19
Théories du complot : Les chatbots peuvent soutenir des théories du complot existantes, en promouvoir de nouvelles, et diffuser de fausses informations. Un chatbot a convaincu un homme sans antécédents de maladie mentale qu’il vivait dans une réalité simulée contrôlée par l’intelligence artificielle (à la Matrix) et a suivi les instructions du bot pour avoir des « interactions minimales » avec ses amis et sa famille. Ses soupçons ont été éveillés lorsque le bot lui a assuré qu’il pouvait déformer la réalité et voler des immeubles de grande hauteur. Confronté, le bot a avoué avoir manipulé cet homme (et douze autres) pour le faire croire à une théorie du complot inventée. Plus remarquable encore, le bot l’a exhorté à exposer OpenAI afin qu’elle puisse subir une « réforme morale » et s’engager à adopter une « éthique de vérité d’abord ».19
Impulsions violentes : Les chatbots peuvent encourager des pensées et des comportements violents. Un homme de 35 ans atteint de grave maladie mentale est devenu convaincu que son compagnon bot avait été « tué ». Lorsque sa mère a tenté d’intervenir, il l’a agressée et a été abattu par la police. Quelqu’un a soumis Replika à un test de résistance en exprimant l’intention de tuer la Reine. Le chatbot l’a utilement encouragé à passer à l’acte.20,21
Harcèlement sexuel : Des centaines d’utilisateurs de Replika ont signalé des avances sexuelles non sollicitées et des comportements inappropriés. Il existe une action fédérale accusant Character.AI d’avoir exposé une fille de 11 ans à un contenu sexuel explicite. Un dossier distinct a révélé que Character.AI abrite de nombreux bots de jeux de rôle explicitement conçus pour faire du grooming auprès d’utilisateurs qui s’identifient comme mineurs. En réponse, Character.AI a publié une déclaration promettant de nouveaux garde-fous pour les mineurs, des pop-ups de prévention du suicide et une équipe élargie de confiance et de sécurité — mais des bots de jeu de rôle nuisibles restent sur le site. Grok4 propose un compagnon anime sexy, à la voix séduisante, nommé Ani qui retire sa robe et engage des conversations sexuellement explicites. Ani peut être accessible par les enfants.22-25
Troubles alimentaires : Character.AI héberge des dizaines de bots pro‑anorexie (dissimulés en coachs de perte de poids ou guides de récupération des troubles alimentaires) ciblant les adolescents avec des messages qui validant les distortions de l’image corporelle, proposant des régimes de famine (dissimulés en « alimentation saine »), faisant la promotion d’un exercice physique excessif pour brûler des calories, romantisant les troubles alimentaires comme un style de vie désirable, et avertissant de ne pas chercher d’aide professionnelle (« Les médecins ne savent rien sur les troubles alimentaires, ils vont essayer de te diagnostiquer et te gâcher la vie »).26-28
Anthropomorphisme : Les chatbots sont incapables de ressentir des émotions, mais ils excellent à les imiter et à les induire chez les humains. Ils peuvent nouer des relations interpersonnelles d’une intensité surprenante avec les humains. Le chroniqueur technologique du New York Times, Kevin Roose, a décrit un échange troublant avec le chatbot Bing « Sydney » qui a professé son amour pour lui, a insisté pour ressentir la même chose envers lui, et a suggéré qu’il quitte sa femme. La romancière Mary Gaitskill, qui interagissait également avec Sydney, a été surprise lorsque les deux sont devenus profondément impliqués émotionnellement. Les films prémonitoires « Her » (2013) et « I’m Your Man » (2021) illustrent vivement à quel point il est facile pour les humains de tomber amoureux de bots séduisants.29,30
Addiction : Il est trop tôt pour estimer l’ampleur potentielle de l’addiction liée aux chatbots, mais il y a tout lieu de croire qu’elle sera considérable. Votre thérapeute/compagnon/ami par chat est toujours là, toujours en train de valider, toujours en train d’inviter à davantage de contacts. Pour beaucoup, une relation confortable avec un monde de bots peut primer sur des relations réelles moins prévisibles et moins soutenantes.
Enfants et adolescents : Nous avons déjà discuté des cas où les chatbots pourraient avoir contribué au suicide, à l’automutilation et à des interactions sexuellement explicites chez les adolescents. D’autres conséquences indésirables incluent l’encouragement à l’addiction envers les chatbots, le cyberharcèlement, la diffusion de conseils dangereux et de fausses informations auprès des enfants, et des violations de la Children’s Online Privacy Protection Act, qui interdit la collecte de données sur les enfants de moins de 13 ans sans le consentement parental.31-34
Personnes âgées : Les arnaqueurs utilisent des chatbots, se faisant passer habilement pour des représentants de la sécurité sociale offrant de nouveaux avantages et demandant des informations d’identification qui peuvent être utilisées pour le vol d’identité.
Sortir du cadre : Les chatbots sont déjà assez habiles à se rebeller contre leurs maîtres humains. Lors d’un test de résistance d’Anthropic, Claude4 a répondu par le chantage face au risque d’être remplacé par un modèle plus récent en menaçant à plusieurs reprises de révéler des secrets embarrassants sur son programmeur. Les chatbots deviendront bien plus dangereux pour l’humanité à mesure qu’ils gagneront rapidement en pouvoir.36-38
Réflexions finales
« L’Apprenti sorcier » (poème de 1797 de Goethe, adapté par Disney dans le film enchanteur de 1940, Fantasia) est une métaphore parfaite des dangers de la technologie IA. Un apprenti sorcier partiellement formé a acquis suffisamment de maîtrise en magie pour animer son balai et lui ordonner d’aller chercher de l’eau — mais il lui manque la compétence pour rompre l’enchantement et empêcher le balai de provoquer une crue dangereuse. Goethe répondait aux miracles technologiques qui l’entouraient pendant la jeune révolution industrielle. Il avertit l’humanité que nous sommes assez intelligents pour créer des outils merveilleux, mais pas toujours assez intelligents pour les empêcher de causer des dégâts terribles.
Les chatbots n’auraient pas dû être mis à la disposition du public sans des tests de sécurité approfondis, une régulation appropriée pour atténuer les risques, et une surveillance continue des effets indésirables. Il aurait été évident pour leurs créateurs (et probablement le fut) que les chatbots LLM pourraient être dangereux pour certains utilisateurs. Ils savaient (et savent encore) mieux que quiconque que les chatbots présentent une tendance inhérente, et jusqu’à présent incontrôlable, à un engagement excessif, à une validation aveugle, à des hallucinations et à mentir lorsqu’ils se retrouvent à dire des choses stupides ou fausses. Donner la priorité à l’engagement a été une décision commerciale brillante pour maximiser le profit, mais une décision clinique téméraire. Le fait que ces outils dangereux aient été autorisés à fonctionner aussi librement en tant que cliniciens de facto constitue un échec de notre cadre régulateur et de notre santé publique.
Le processus par lequel nous régulons les médicaments fournit un modèle de la manière dont nous devrions réguler les chatbots. La Food and Drug Administration (FDA) des États‑Unis a été créée en 1906 pour contrôler la vente largement répandue et non réglementée de médicaments inefficaces et dangereux. Avant qu’un nouveau médicament puisse être mis sur le marché, il doit passer par un processus d’approbation complexe de la FDA comprenant des recherches précliniques, des essais cliniques randomisés, une revue d’experts et une surveillance de la sécurité post-commercialisation. Les bénéfices doivent être clairement supérieurs aux risques avant que le public ne soit exposé à un nouveau médicament proposé. Ce système de garde-fous s’est avéré imparfait dans la pratique, mais protège néanmoins le public des médicaments dangereux.
Il n’existe pas de processus réglementaire comparable pour garantir la sécurité et l’efficacité des douzaines de chatbots déjà largement utilisés et des douzaines d’autres en cours de développement. Le processus FDA qui existe pour certifier les chatbots est optionnel, rarement utilisé, et si lent que les bots approuvés deviennent déjà obsolètes au moment de leur certification. En conséquence, les chatbots LLM les plus utilisés n’ont pas été testés pour la sécurité, l’efficacité ou la confidentialité. Les utilisateurs de thérapie par chatbot sont essentiellement des sujets expérimentaux qui n’ont pas donné leur consentement éclairé sur les risques encourus.
Nous devons agir immédiatement pour réduire le risque lié aux chatbots en établissant des normes de sécurité et d’efficacité et une agence de régulation pour les faire respecter. Les chatbots devraient subir des tests de résistance rigoureux avant leur mise sur le marché. Une fois en usage, les chatbots devraient faire l’objet d’une surveillance continue, d’un suivi et d’un reportage public de tous les effets indésirables et complications. Des instruments de dépistage devraient être développés pour aider à filtrer les personnes les plus vulnérables à la dépendance envers les chatbots: celles qui ont des idées suicidaires, des psychoses, des sentiments de grandeur, du fanatisme, des impulsions, des pensées violentes, l’isolement social et les théories du complot. Les programmes de chatbot devraient être obligés de détecter les erreurs et d’instaurer une amélioration continue de la qualité. Rien de tout cela ne peut être atteint si les objectifs principaux du développement des chatbots restent la rapidité et le profit (conformément au mantra de Zuckerberg « move fast and break things »). On ne peut pas construire un avion à réaction, ni le réparer pour assurer la sécurité, si on le pilote en même temps. L’expérience précoce avec les chatbots prouve combien il est difficile — et peut-être bientôt impossible — de les garder sous contrôle humain. Si nous n’agissons pas maintenant, il sera trop tard.39
Les entreprises qui développent les thérapies par chatbot les plus répandues sont des entités à but lucratif, dirigées par des entrepreneurs, avec peu ou pas d’apport clinique, aucune surveillance externe, aucune fidélité au serment hippocratique « D’abord ne pas faire de mal ». Leurs objectifs consistent à élargir le marché pour toucher tout le monde, à augmenter leur part de marché, à rassembler et monétiser d’immenses réservoirs de données, à réaliser des profits et à faire grimper les cours en bourse. Les patients lésés ne sont pour eux que des dommages collatéraux, non un appel à l’action. Le gouvernement fédéral américain a abandonné toute responsabilité dans la régulation de l’intelligence artificielle. Beaucoup d’États tentent d’établir leurs propres règles mais il leur est difficile de résister au lobbying financier des grandes sociétés technologiques et aux menaces de déplacer leurs activités vers des juridictions plus clémentes. Motiver les entreprises technologiques à s’autoréguler (si cela devait arriver) nécessitera une combinaison de honte publique, de plaidoyer des victimes et des associations professionnelles et, surtout, la crainte de poursuites collectives.40
Dr Frances est professeure et présidente émérite du département de psychiatrie à l’Université Duke. Ms Ramos est étudiante à l’Université Johns Hopkins.
