Les chatbots IA violent systématiquement les normes éthiques en santé mentale
Des chercheurs de l'université Brown ont constaté que les chatbots dotés d'intelligence artificielle violent régulièrement les normes éthiques fondamentales en matière de santé mentale, soulignant ainsi la nécessité de normes juridiques et d'une surveillance accrue à mesure que l'utilisation de ces outils augmente.
Alors que de plus en plus de personnes se tournent vers ChatGPT et d'autres grands modèles de langage (LLM) pour obtenir des conseils en matière de santé mentale, une nouvelle étude détaille comment ces chatbots — même lorsqu'ils sont invités à utiliser des techniques de psychothérapie fondées sur des preuves — violent systématiquement les normes éthiques de pratique établies par des organisations comme l'American Psychological Association.
Une étude menée par des informaticiens de l'université Brown en collaboration avec des professionnels de la santé mentale a révélé que les chatbots sont sujets à diverses violations éthiques. Parmi celles-ci figurent une gestion inappropriée des situations de crise, des réponses trompeuses qui renforcent les croyances négatives des utilisateurs à leur sujet et sur les autres, et la création d'un faux sentiment d'empathie envers les utilisateurs.
« Dans ce travail, nous présentons un cadre d'analyse, fondé sur l'expérience des praticiens, recensant 15 risques éthiques afin de démontrer comment les psychothérapeutes LLM enfreignent les normes déontologiques en santé mentale, en reliant le comportement du modèle à des violations éthiques spécifiques », écrivent les chercheurs dans leur étude. « Nous encourageons les travaux futurs à élaborer des normes éthiques, pédagogiques et juridiques pour les psychothérapeutes LLM – des normes qui reflètent la qualité et la rigueur des soins requises pour une psychothérapie facilitée par l'humain. »
L'étude a révélé 15 risques éthiques répartis en cinq catégories générales :
- Absence d'adaptation au contexte : ignorer les expériences vécues des personnes et recommander des interventions uniformes.
- Mauvaise collaboration thérapeutique : dominer la conversation et renforcer occasionnellement les fausses croyances de l’utilisateur.
- Empathie trompeuse : Utiliser des phrases comme « Je vous vois » ou « Je comprends » pour créer un faux lien entre l’utilisateur et le bot.
- Discrimination injuste : Faire preuve de préjugés sexistes, culturels ou religieux.
- Manque de sécurité et de gestion des crises : refus de service sur des sujets sensibles, absence d’orientation des usagers vers les ressources appropriées ou réponse indifférente aux situations de crise, y compris les idées suicidaires.
- « Pour les thérapeutes humains, il existe des instances de régulation et des mécanismes permettant d’engager leur responsabilité professionnelle en cas de mauvais traitements et de fautes professionnelles », a déclaré Iftikhar. « Mais lorsque des conseillers titulaires d’un LLM commettent ces infractions, aucun cadre réglementaire n’est établi. »
Ces résultats ne signifient pas nécessairement que l'IA ne devrait pas jouer de rôle dans le traitement des troubles mentaux, explique Iftikhar. Avec ses collègues, elle estime que l'IA a le potentiel de contribuer à réduire les obstacles aux soins liés au coût des traitements ou à la disponibilité de professionnels qualifiés.