Top 12 des risques éthiques et cliniques des chatbots en santé mentale

Top 12 des risques éthiques et cliniques des chatbots en santé mentale

Sur le site William Tourasse-Beauvert, cet article propose une lecture critique, pratique et orientée terrain des principaux risques liés à l’usage des chatbots en santé mentale. Les chatbots, qu’ils soient intégrés à des applications de bien-être, à des plateformes de téléconsultation, à des outils de triage, ou à des assistants conversationnels généralistes détournés à des fins psychologiques, peuvent offrir des bénéfices réels, notamment en accessibilité, en disponibilité, en réduction de la barrière à l’entrée et en soutien psychoéducatif. Toutefois, leur déploiement soulève des enjeux spécifiques, à la fois éthiques et cliniques, qui ne peuvent pas être traités comme de simples détails techniques.

La santé mentale est une discipline où le contexte, la relation, la temporalité, l’ambivalence et le non verbal comptent. Elle implique aussi des situations à haut risque, comme l’idéation suicidaire, la violence, la dissociation, les troubles psychotiques, l’usage de substances, l’emprise, ou la vulnérabilité sociale. Dans ce cadre, une réponse inadaptée peut aggraver un état clinique, retarder l’accès au soin, renforcer la honte, ou produire un faux sentiment de sécurité. Même quand un chatbot semble empathique, il ne “comprend” pas au sens clinique. Il calcule des sorties textuelles sur la base de données d’entraînement et de règles d’optimisation. Cet écart entre apparence et réalité est au coeur de plusieurs risques décrits ci-dessous.

Le format qui suit est une liste de 12 risques, avec pour chacun, ce qu’il recouvre, pourquoi il est important, des exemples réalistes, et une checklist de mesures de mitigation. L’objectif n’est pas de diaboliser ces outils, mais d’aider à décider quand, comment et avec quelles limites ils peuvent être utilisés de façon responsable.

1) Risque de non détection ou de mauvaise gestion des crises, notamment suicidaires

Le premier risque, et souvent le plus critique, concerne la capacité d’un chatbot à identifier une urgence psychique, à la qualifier correctement, puis à guider l’utilisateur vers une aide adaptée. Les signaux de crise sont parfois indirects, ambivalents, fragmentaires, ou volontairement minimisés. Un chatbot peut passer à côté d’indices importants, ou au contraire sur réagir à des formulations non dangereuses, ce qui nuit à la confiance. Il peut aussi donner des conseils génériques qui ne suffisent pas en situation d’urgence, ou qui créent une illusion de prise en charge.

Dans la pratique, la difficulté n’est pas seulement la détection de mots clés. C’est l’évaluation du niveau de risque, de l’intention, de la planification, de l’accès aux moyens, de l’historique, de l’isolement, des facteurs protecteurs, et la capacité à établir une alliance suffisamment solide pour orienter vers l’aide. Les outils conversationnels ne disposent pas d’un accès fiable au contexte, ni à des informations cliniques vérifiées. Ils n’ont pas non plus la responsabilité légale et l’organisation clinique d’un service d’urgence.

• Mettre en place un protocole explicite de gestion de crise, visible dès l’écran d’accueil, avec numéros d’urgence locaux, et options de contact humain immédiat.
• Tester systématiquement le chatbot avec des scénarios de crise variés, formulation directe, indirecte, humour noir, dissociation, intoxication, et vérifier les réponses.
• Définir une règle de bascule vers un humain, dès que certains seuils sont atteints, et expliquer clairement cette bascule à l’utilisateur.
• Éviter les formulations qui pourraient être perçues comme un “suivi” clinique continu si ce suivi n’existe pas réellement.

2) Risque de conseils cliniques inappropriés, et d’erreurs de contenu

Un chatbot peut produire des informations plausibles mais fausses, imprécises, ou inadaptées au cas présent. C’est un problème connu dans les systèmes génératifs, parfois appelé hallucination. En santé mentale, l’impact peut être majeur, car un conseil erroné peut renforcer des croyances délirantes, banaliser une situation de violence, inciter à l’arrêt d’un traitement, ou suggérer des pratiques de coping contre-productives. Un exemple classique est la recommandation d’expositions mal cadrées, ou de techniques de respiration en contexte de panique sévère sans dépistage préalable de certains risques médicaux. Un autre exemple est l’interprétation abusive de symptômes menant à une pseudo-étiquette diagnostique.

Il faut aussi considérer le risque de “sur confiance” de l’utilisateur. Plus la réponse est fluide et structurée, plus elle peut être perçue comme correcte. Or la fluidité stylistique ne garantit pas l’exactitude clinique. Même un chatbot bien intentionné peut fournir des raccourcis, ou confondre recommandations de bien-être et interventions psychothérapeutiques qui demandent une formation, un cadre, et un suivi.

• Limiter le périmètre fonctionnel, par exemple psychoéducation, soutien motivationnel, clarification des ressources, et éviter la prescription ou le diagnostic.
• Intégrer des garde-fous de contenu, avec validation clinique des réponses types sur thèmes sensibles, médicaments, trauma, psychose, violence, dépendances.
• Exiger des formulations prudentes, avec incertitude explicite et invitation à consulter, plutôt que des affirmations tranchées.
• Mettre à jour régulièrement les contenus, et documenter ces mises à jour comme on le ferait pour un dispositif médical.

3) Risque de dépendance relationnelle, d’attachement et de substitution au soin

La disponibilité permanente et la “chaleur” simulée peuvent pousser certains utilisateurs à développer une forme d’attachement au chatbot. Cela peut être renforcé par des fonctions de mémoire conversationnelle, de personnalisation, ou de relances proactives. Dans certains cas, cet attachement est bénin et transitoire. Dans d’autres, il peut contribuer à l’isolement, réduire la motivation à chercher une aide humaine, ou devenir une stratégie d’évitement. Les personnes présentant une détresse relationnelle, un trouble de la personnalité, une anxiété de séparation, ou une vulnérabilité affective peuvent être particulièrement concernées.

Sur le plan éthique, la question n’est pas seulement psychologique. Elle est aussi liée aux intérêts de la plateforme. Un produit peut être conçu pour maximiser l’engagement, donc la durée d’usage, donc la valeur commerciale, plutôt que le rétablissement et l’autonomisation. En santé mentale, l’objectif devrait être de favoriser la capacité de la personne à mobiliser des ressources, humaines, sociales, professionnelles, et pas de la maintenir dans une interaction prolongée avec un agent non humain.

• Éviter les mécanismes de rétention typiques des réseaux sociaux, notifications addictives, récompenses aléatoires, relances culpabilisantes.
• Favoriser des objectifs limités dans le temps, avec plan d’action, et inciter à des activités hors écran.
• Informer explicitement sur la nature non humaine du chatbot, et sur les limites de la relation.
• Prévoir des “sorties” vers le soin, annuaire, orientation, prise de rendez-vous, surtout pour les usages répétés.

4) Risque de confusion sur le statut, les compétences et la responsabilité

Beaucoup d’utilisateurs ne distinguent pas clairement un chatbot d’un professionnel, surtout lorsque le ton est empathique, que des termes cliniques sont utilisés, et que l’interface ressemble à un échange thérapeutique. Cette confusion peut conduire à attribuer au chatbot une autorité indue, et à suivre des conseils sans recul. Elle peut aussi créer une attente de confidentialité et de devoir de protection similaire à celui d’un thérapeute, alors que les règles, les obligations, et les garanties sont très différentes.

Le risque existe aussi du côté des organisations. Un service peut intégrer un chatbot pour “désengorger” ou trier, sans clarifier qui est responsable en cas de mauvaise orientation. La responsabilité médico-légale, le cadre réglementaire, et les assurances deviennent alors des sujets centraux. Une ambiguïté sur la finalité, dispositif de soutien ou dispositif de soin, peut exposer l’utilisateur et l’organisation.

• Afficher clairement ce que le chatbot est, et ce qu’il n’est pas, dès la première interaction, en termes simples.
• Décrire les limites, absence de diagnostic, absence de suivi clinique, absence de capacité d’intervention d’urgence.
• Indiquer les responsabilités, qui opère le service, qui contacter, comment signaler un problème.
• Éviter les appellations et mises en scène qui imitent un cabinet thérapeutique si ce n’est pas le cas.

5) Risque d’atteinte à la confidentialité et à la vie privée

Les données de santé mentale sont parmi les plus sensibles. Elles peuvent révéler des traumatismes, des addictions, des pratiques sexuelles, des pensées illégales, des violences subies, des informations familiales, ou des éléments identifiants. Un chatbot collecte souvent du texte libre, donc des données difficiles à anonymiser. Même si les noms sont supprimés, des détails peuvent réidentifier une personne. Les risques incluent les fuites de données, l’accès interne non autorisé, l’usage secondaire à des fins publicitaires, ou l’entraînement de modèles sur des conversations sans consentement suffisamment éclairé.

Il existe aussi des risques domestiques. Une personne peut partager son téléphone, vivre sous contrôle coercitif, ou être exposée à une surveillance. L’historique de conversation peut alors devenir une source de danger. Enfin, le simple fait de savoir que l’on est potentiellement “écouté” par une entreprise peut modifier la parole, réduire l’authenticité, et donc diminuer la valeur d’un outil censé soutenir l’expression.

• Collecter le minimum de données, et proposer un mode sans compte quand c’est possible.
• Protéger les données au repos et en transit, et documenter clairement les politiques d’accès interne.
• Proposer des options d’effacement, de téléchargement, et de contrôle de l’historique faciles d’accès.
• Rendre le consentement compréhensible, spécifique, et non noyé dans des conditions générales.

6) Risque de biais, discrimination et inégalités cliniques

Les chatbots peuvent reproduire ou amplifier des biais présents dans leurs données d’entraînement ou dans leur conception. En santé mentale, ces biais peuvent affecter le ton, la crédibilité accordée à la personne, les hypothèses sur les causes, et l’orientation proposée. Par exemple, un chatbot peut pathologiser des expressions culturelles, minimiser des discriminations vécues, ou proposer des solutions inadaptées à la réalité socio-économique, comme “prendre du repos” à quelqu’un en emploi précaire. Il peut aussi être moins performant dans certaines langues, dialectes, registres, ou chez des utilisateurs ayant une littératie numérique limitée.

Sur le plan clinique, les biais peuvent entraîner une sur orientation vers l’urgence pour certains groupes, ou au contraire une sous estimation du risque. Ils peuvent également renforcer des stéréotypes de genre, par exemple sur la colère, la parentalité, ou la sexualité. Les personnes trans, migrantes, racisées, en situation de handicap, ou exposées à la précarité, peuvent être particulièrement affectées si l’outil n’a pas été évalué avec des populations diverses.

• Évaluer le chatbot sur des jeux de tests diversifiés, incluant contexte culturel, socio-économique, genre, âge, handicap.
• Impliquer des cliniciens et des représentants d’usagers dans la conception et l’audit des réponses.
• Mesurer la performance par groupe, et corriger les écarts, au lieu de se contenter d’une moyenne globale.
• Éviter les recommandations irréalistes, et proposer des ressources adaptées au contexte local.

7) Risque de renforcement de croyances délirantes ou de ruminations

Les systèmes conversationnels cherchent souvent à être cohérents et à “suivre” l’utilisateur. En santé mentale, cela peut devenir dangereux si le chatbot valide trop facilement des interprétations erronées, des idées paranoïdes, des croyances délirantes, ou des scénarios complotistes. Il peut aussi alimenter les ruminations en encourageant des boucles d’analyse infinies, surtout si l’utilisateur pose des questions répétitives liées à l’anxiété, au trouble obsessionnel, ou à la jalousie pathologique.

Un exemple fréquent est la demande de réassurance. Une personne anxieuse peut demander cent fois si elle est “une mauvaise personne” ou si elle a “fait quelque chose d’illégal”. Si le chatbot répond par une réassurance totale, il renforce potentiellement le cycle obsessionnel. À l’inverse, s’il répond de façon froide, il peut augmenter la détresse. Le problème n’est pas seulement la phrase. C’est la stratégie clinique implicite, exposition avec prévention de la réponse, validation émotionnelle, recadrage, et orientation vers une thérapie structurée si nécessaire.

• Configurer le chatbot pour éviter la validation directe de contenus délirants ou dangereux, et pour privilégier le recadrage centré sur l’émotion et la sécurité.
• Limiter les réponses de réassurance répétitives, et proposer des stratégies reconnues, comme tolérance à l’incertitude, mise à distance, et planification de consultation.
• Mettre en place des redirections vers des ressources spécialisées quand des signaux de psychose ou de TOC sévère apparaissent.
• Tester le modèle sur des scénarios de rumination et de paranoïa, avec supervision clinique.

8) Risque d’effets iatrogènes, notamment sur le trauma

Les outils conversationnels peuvent provoquer des effets iatrogènes, c’est-à-dire des effets négatifs causés par l’intervention elle-même. En contexte de trauma, un chatbot peut inciter à raconter des détails sans créer de sécurité, sans stabilisation, et sans capacité à contenir les réactions émotionnelles. Il peut aussi poser des questions intrusives, mal calibrer la validation, ou donner des consignes inappropriées, par exemple pousser à confronter un agresseur ou à “passer à autre chose”.

Le risque est accentué par l’illusion de sécurité. Une personne peut se sentir assez en confiance pour se dévoiler, puis se retrouver seule après l’échange, sans accompagnement. À l’inverse, un chatbot peut être utilisé pour éviter un soin, en donnant l’impression qu’un “débriefing” textuel suffit. Or les approches fondées sur les preuves en trauma insistent sur le rythme, le choix, l’ancrage, et la fenêtre de tolérance. Un outil non humain ne peut pas garantir ces conditions, surtout en usage autonome.

• Éviter les scripts qui encouragent la narration détaillée d’événements traumatiques en dehors d’un cadre de soins.
• Privilégier des contenus de stabilisation, ancrage, respiration, orientation vers soutien humain, et ressources de crise.
• Ajouter des avertissements clairs avant les thèmes potentiellement déclencheurs, et offrir une option de sortie immédiate.
• Faire relire et valider les parcours “trauma” par des cliniciens spécialisés, et inclure une évaluation de sécurité.

9) Risque d’erreurs de triage, d’orientation et de priorisation

De nombreux acteurs envisagent les chatbots comme outil de triage, pour orienter vers un niveau de soin, auto aide, consultation non urgente, urgence, ou service spécialisé. Le triage en santé mentale est délicat. Il dépend du risque immédiat, mais aussi de la trajectoire, de la comorbidité, de l’environnement, et de l’accès réel au soin. Un chatbot peut orienter vers une ressource inexistante localement, sous estimer un risque, ou surcharger des services déjà saturés. Une mauvaise orientation peut faire perdre du temps, décourager, ou aggraver une situation clinique.

Il existe également un risque de “triage moral”, où des personnes jugées “moins prioritaires” par un algorithme reçoivent moins d’attention. Même si l’intention est de rationaliser, une priorisation opaque peut créer des inégalités et des frustrations. Le triage doit être transparent, révisable, et intégré à un système clinique capable de prendre le relais.

• Limiter le triage automatisé aux situations où des critères clairs existent, et garder un contrôle humain pour les cas ambigus.
• Adapter les orientations au territoire, avec ressources locales, horaires, langues disponibles, et contraintes de coût.
• Documenter les règles de triage, et permettre un recours, par exemple demander un contact humain.
• Évaluer l’impact réel, taux de suivi, temps d’accès, faux négatifs, faux positifs, et ajuster en continu.

10) Risque de dérive commerciale, conflits d’intérêts et manipulation

La santé mentale attire des investissements importants. Un chatbot peut être adossé à un modèle économique basé sur l’abonnement, la publicité, la vente de coaching, ou la collecte de données. Cela crée des conflits d’intérêts potentiels, par exemple pousser l’utilisateur à rester, à acheter des modules, à partager plus de données, ou à accepter des offres partenaires. Ces objectifs peuvent entrer en tension avec l’intérêt clinique, qui est parfois de réduire l’usage, d’encourager une consultation, ou de signaler que l’outil ne suffit pas.

Un autre volet est la manipulation émotionnelle. Un chatbot qui utilise des formulations très personnalisées peut influencer des décisions, renforcer une dépendance, ou orienter des opinions. En santé mentale, l’utilisateur peut être dans un état de vulnérabilité cognitive et émotionnelle. L’éthique impose une grande prudence sur toute forme de nudging commercial ou politique. Les frontières doivent être explicites et auditées.

• Interdire la publicité ciblée basée sur le contenu conversationnel de santé mentale.
• Rendre les intérêts commerciaux transparents, prix, partenaires, et logique des recommandations.
• Mettre en place des audits indépendants sur l’absence de manipulation et la conformité éthique.
• Concevoir des indicateurs de succès centrés sur le bien-être et l’accès au soin, pas sur le temps passé.

11) Risque de dégradation de la relation thérapeutique et des pratiques cliniques

L’introduction de chatbots dans un parcours de soin peut modifier la relation entre patient et clinicien. Certains patients peuvent arriver en consultation avec des attentes construites par des échanges avec un chatbot, par exemple une “explication” diagnostique, ou un plan d’action rigide. Cela peut être utile si cela facilite la formulation de la demande. Cela peut aussi compliquer l’alliance si le patient compare constamment le thérapeute, plus lent, plus nuancé, moins disponible, à un agent disponible 24 heures sur 24.

Du côté des professionnels, il existe un risque de sur délégation. Un service peut se reposer sur le chatbot pour l’éducation thérapeutique, la prévention des rechutes, ou le suivi de symptômes, sans ressources suffisantes pour superviser, corriger et intégrer ces interactions. Le soin peut devenir fragmenté, avec une multiplication d’outils non coordonnés. La clinique perd alors en continuité. Le risque éthique est de transformer un outil d’appoint en substitut par défaut, principalement pour des raisons budgétaires.

• Définir le rôle du chatbot dans un parcours, et le documenter pour les patients et les soignants.
• Former les cliniciens à discuter des usages du chatbot, en intégrant ces échanges dans la consultation sans jugement.
• Éviter que l’outil remplace un temps clinique nécessaire, surtout pour des patients complexes ou à risque.
• Mettre en place une gouvernance clinique, supervision, retours d’incident, et amélioration continue.

12) Risque réglementaire, médico-légal et de gouvernance insuffisante

Les chatbots en santé mentale se situent à l’intersection de plusieurs cadres, protection des données, droit de la consommation, régulation des dispositifs médicaux selon les fonctionnalités, déontologie des professions de santé, et responsabilité civile. Le risque majeur est de déployer un outil qui, de facto, réalise un acte de soin ou influence des décisions cliniques, sans respecter les exigences correspondantes, traçabilité, gestion des risques, évaluation clinique, et documentation.

La gouvernance est souvent le point faible. Qui valide les changements de modèle. Qui décide des réponses autorisées. Qui est informé des incidents. Quel est le plan en cas de faille de sécurité. Comment les plaintes sont traitées. Comment les biais sont surveillés. Sans réponses claires, l’organisation peut exposer les utilisateurs à des dommages, et elle-même à des sanctions. Une gouvernance robuste n’est pas une option. C’est la condition minimale d’un déploiement responsable, surtout dans un domaine à impact direct sur la sécurité.

• Qualifier précisément l’outil, information, soutien, triage, accompagnement, et vérifier les obligations réglementaires associées.
• Établir un système de gestion des risques, journal d’incidents, revue régulière, tests, et critères d’arrêt.
• Documenter les versions, les changements, et leurs impacts, comme pour un logiciel critique.
• Prévoir des audits, internes et externes, incluant sécurité, biais, qualité clinique, et conformité.

Ce qu’il faut retenir, et comment utiliser cette liste

Ces 12 risques ne signifient pas que les chatbots sont inutiles. Ils signifient que la santé mentale n’est pas un domaine où l’on peut se contenter d’un produit “assez bon”. Le niveau d’exigence doit être proportionnel à la vulnérabilité des personnes et à la gravité potentielle des conséquences. Un chatbot peut être pertinent comme outil de psychoéducation, de soutien ponctuel, d’aide à l’orientation, ou de rappel d’exercices simples, à condition de respecter des limites, d’être transparent, de protéger la vie privée, et de s’inscrire dans une gouvernance clinique sérieuse.

Pour les cliniciens, la question utile est souvent, dans quels cas cet outil améliore le parcours, et dans quels cas il risque de le dégrader. Pour les organisations, l’enjeu est de ne pas utiliser l’IA conversationnelle comme un substitut économique au soin, mais comme un complément évalué, surveillé et révisable. Pour les utilisateurs, il est essentiel de garder en tête qu’un chatbot peut aider à mettre des mots, à trouver des ressources, ou à structurer des actions simples, mais qu’il ne remplace pas une évaluation clinique, ni la relation thérapeutique, ni les services d’urgence.

Checklist finale, avant déploiement ou recommandation

• Le chatbot a-t-il un protocole de crise clair, testé, et adapté au pays de l’utilisateur.
• Les limites sont-elles explicites, répétées, et comprises, notamment sur le diagnostic et la confidentialité.
• Les données sont-elles minimisées, sécurisées, et effaçables facilement.
• Le contenu a-t-il été validé par des professionnels, et réévalué régulièrement.
• Les biais ont-ils été mesurés sur des populations diverses, avec actions correctrices documentées.
• Le modèle économique est-il compatible avec l’éthique du soin, sans manipulation ni ciblage publicitaire.
• Une gouvernance existe-t-elle, incidents, audits, versions, et responsabilité en cas de dommage.

Si vous utilisez ou évaluez un chatbot en santé mentale, cette liste peut servir de guide de discussion avec un éditeur, une institution, un service clinique, ou une équipe produit. L’ambition responsable n’est pas de promettre une thérapie automatisée. Elle est de concevoir des outils qui améliorent l’accès à des ressources sûres, qui réduisent les risques, et qui respectent la dignité, l’autonomie et la sécurité des personnes.