Ne pas compter sur un chatbot d'IA pour juger de sa maladie ou de ses problèmes juridiques : avant de consulter, de plaider ou de dépenser beaucoup, vérifier dans le texte original la source qu'il cite

Coût

Gratuit. Chaque vérification prend quelques minutes à une demi-heure. Il faut demander à l'IA d'écrire les articles de loi, les recommandations ou les articles scientifiques sur lesquels elle s'appuie, puis aller lire l'original et retrouver la phrase. L'habitude à prendre est de ne pas agir simplement parce qu'elle a répondu avec assurance.

Ce que vous y gagnez

Commençons par la médecine. En 2026, Nature Medicine a publié un essai randomisé, préenregistré, portant sur 1 298 Britanniques ordinaires. Chacun recevait deux cas cliniques fictifs, et devait déterminer la maladie et s'il fallait aller aux urgences ou rester chez soi. Une partie des participants utilisait un chatbot d'IA (GPT-4o, Llama 3, Command R+) ; le groupe témoin utilisait ses méthodes habituelles, le plus souvent une recherche sur internet, ou le site du Service national de santé britannique (NHS). Quand on donnait le cas complet directement à l'IA, celle-ci identifiait la maladie concernée dans 94,9 % des cas, et déterminait la bonne orientation dans 56,3 % des cas. Mais les personnes ordinaires qui utilisaient la même IA n'identifiaient la maladie concernée que dans moins de 34,5 % des cas, et la bonne orientation dans moins de 44,2 %. Le groupe témoin avait 1,76 fois plus de chances d'identifier la maladie concernée que le groupe utilisant l'IA (IC à 95 % 1,45–2,13). Pour l'identification des maladies graves à signaux d'alerte, la probabilité était 1,57 fois plus élevée (1,28–1,92). Pour l'orientation, les deux groupes étaient à peu près équivalents. Les auteurs ont relu les conversations : le problème venait des deux côtés. D'un côté, les utilisateurs ne décrivaient pas tous les symptômes ; de l'autre, l'IA mentionnait la bonne maladie, mais l'utilisateur ne la retenait pas. Passons au droit. Une équipe de recherche américaine a testé en 2024 des modèles publics comme ChatGPT 4 sur des décisions de justice de tribunaux fédéraux américains. ChatGPT 4 a inventé des contenus dans 58 % de ses réponses, et Llama 2 dans 88 %. On parle d'« hallucination » lorsque le contenu ne correspond pas aux faits juridiques. Le modèle ne fait pas la différence entre ce qu'il invente et ce qu'il sait. Quand la question de l'utilisateur contient une prémisse juridique fausse, il l'accepte souvent telle quelle. En 2025, la même équipe a testé des outils d'IA juridiques professionnels utilisés par les avocats. Ces outils prétendent ne pas inventer, mais 17 % à 33 % de leurs réponses contiennent des éléments inventés. Ce conseil paraît rentable parce que l'IA est disponible à tout moment, sans frais, et qu'elle s'exprime avec l'assurance d'un médecin ou d'un avocat.

Remarques

Controverse. Une étude de 2023 a extrait 195 questions de patients d'un forum américain et a demandé à des soignants de les noter sans connaître la source : 78,6 % des notes estimaient que ChatGPT répondait mieux que des médecins. Mais l'étude évaluait la qualité de rédaction des réponses, et non si les personnes qui posaient la question avaient finalement trouvé la bonne décision. L'essai utilisait des modèles de 2024 ; des modèles plus récents peuvent faire mieux. Le même essai a toutefois montré que les résultats de l'IA à un examen seul ne permettent pas de prévoir l'utilité réelle pour une personne ordinaire. Pourquoi l'IA invente, des chercheurs d'OpenAI l'ont expliqué en 2025 dans un article non relu par des pairs : les méthodes d'entraînement et de notation récompensent le fait de « deviner une réponse », alors que répondre « je ne sais pas » ne rapporte rien ; quand elle manque de certitude, elle répond donc avec assurance. Pour vérifier, demander à l'IA le nom de la loi et le numéro de l'article, ou le titre de la recommandation ou de l'article scientifique, puis chercher le texte original sur le site officiel et retrouver la phrase. Si l'on ne la trouve pas, considérer que l'IA ne l'a jamais dit. Lors de la question, ne pas inclure sa propre conclusion : demander « que dit la loi dans ce cas ? », et non « est-ce que j'ai forcément gagné dans ce cas ? ». Des signes comme une bouche déformée, une faiblesse d'un côté du corps, ou une douleur qui serre la poitrine ne doivent pas être soumis d'abord à l'IA : il faut appeler le 120 immédiatement, voir §13.3 (bouche de travers, faiblesse d'un bras d'un côté) et §13.7 (douleur qui serre la poitrine). Pour une procédure judiciaire sans moyens pour payer un avocat, voir §7.3 (demander l'aide juridictionnelle). Le niveau retenu est petit, car on ne mesure que des indicateurs intermédiaires (identifier la maladie), et aucun chiffre ne montre moins de décès. Les bénéficiaires sont vous-même et votre famille.

Niveau de preuve

A : Chiffres précis tirés de méta-analyses, de grandes cohortes ou d’essais randomisés ; pour les lois et politiques, le texte officiel.

Sources

1. Bean AM, Payne RE, Parsons G, et al. (2026). Reliability of LLMs as medical assistants for the general public: a randomized preregistered study. Nature Medicine, 32(2), 609–615. https://doi.org/10.1038/s41591-025-04074-y
2. Dahl M, Magesh V, Suzgun M, Ho DE (2024). Large Legal Fictions: Profiling Legal Hallucinations in Large Language Models. Journal of Legal Analysis, 16(1), 64–93. https://doi.org/10.1093/jla/laae003
3. Magesh V, Surani F, Dahl M, Suzgun M, Manning CD, Ho DE (2025). Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools. Journal of Empirical Legal Studies, 22(2), 216–242. https://doi.org/10.1111/jels.12413
4. Kalai AT, Nachum O, Vempala SS, Zhang E (2025). Why Language Models Hallucinate. arXiv:2509.04664（预印本，备注里那项）. https://arxiv.org/abs/2509.04664
5. 反方：Ayers JW, Poliak A, Dredze M, et al. (2023). Comparing Physician and Artificial Intelligence Chatbot Responses to Patient Questions Posted to a Public Social Media Forum. JAMA Internal Medicine, 183(6), 589. https://doi.org/10.1001/jamainternmed.2023.1838

Traduit de l’original chinois. Livre original, section 6, conseil 31. Le contenu peut être dépassé et les règles varient selon les lieux. Pour une démarche, un rendez-vous médical ou un procès, suivez ce que disent l’administration, le médecin ou l’avocat. Avertissement