AIチャットボットの判断だけで病状や法律問題を決めない。受診・訴訟・大きな出費の前には、AIが挙げた根拠を原文で確かめる

コスト

お金はかかりません。確認には毎回数分から30分ほどかかります。AIに根拠とした法律、ガイドライン、論文を挙げさせ、自分で原文を開いて該当箇所を探します。改めるべき習慣は、AIが断定的に言ったからといって、そのまま従わないことです。

得られるもの

まず病気について。2026年にNature Medicineに掲載された無作為割り付け試験では、英国の一般の人1,298人が参加しました。事前登録された研究です。各人は作成された症例を2つ受け取り、それがどんな病気か、救急に行くべきか、自宅で経過を見るべきかを判断しました。一部の人はAIチャットボットを使い、GPT-4o、Llama 3、Command R+を利用しました。対照群は普段のやり方（多くはネット検索や、英国国民保健サービス（NHS）の公式サイトの閲覧）で判断しました。完全な症例をAIに直接渡すと、94.9%の場合で関連する病気を見分けられ、56.3%で受診先を正しく判断できました。一般の人が同じAIを使うと、関連する病気を見分けられたのは34.5%未満、受診先を正しく判断できたのは44.2%未満でした。対照群が関連する病気を見分けられた確率は、AIを使った群の1.76倍でした（95%信頼区間1.45〜2.13）。危険な兆候を伴う重い病気を見分けた確率は1.57倍でした（1.28〜1.92）。受診先の判断については、両群に大きな差はありませんでした。著者が対話記録を確認したところ、問題は両側にありました。ユーザーが症状を十分に伝えていなかったこと、そして、AIが正しい病気を挙げたのに、ユーザーがそれを採用しなかったことです。次に法律について。米国の研究チームは2024年、ChatGPT-4などの公開モデルを使い、米国連邦裁判所の判例について質問しました。ChatGPT-4の回答の58%に作り話があり、Llama 2では88%にも達しました。作り話とは、法的事実と合わない内容を指し、論文はそれを「ハルシネーション（幻覚）」と呼んでいます。モデルは、どこが作り話なのか区別できません。ユーザーの質問に誤った法律上の前提が含まれているとき、モデルはしばしばそれをそのまま受け入れます。同じチームは2025年に、弁護士が使う専門の法律AIツールも検証しました。これらのツールは作り話をしないとうたっていましたが、実際には回答の17%〜33%に作り話がありました。一見お得に見えるのは、AIはいつでも応じ、無料で、医師や弁護士のように断定的に話すからです。

補足

議論のある点。2023年の研究では、米国のフォーラムから195件の患者の質問を抽出し、医療従事者に出典を伏せて評価させました。78.6%の評価で、ChatGPTは医師より良い回答をしたとされました。しかしそれは回答の文章の良さを比べたものであり、質問者が最終的に正しく判断できたかは見ていません。試験に使われたのは2024年のモデルで、新しいモデルはより強力かもしれません。ただし同じ試験でも、AIが単独で受けた試験の成績は、一般の人がそれを使った効果を予測できないことが分かりました。AIがなぜ作り話をするのかについて、OpenAIの研究者は2025年の査読を経ていない論文で説明しています。学習と採点の方式が「答えを推測すること」を報いる一方、「分からない」と答えても点が取れないため、確信がないときでも断定的に言ってしまうのです。確認の方法は、AIに法令名と条文番号、ガイドラインや論文のタイトルを書かせ、公式サイトで原文を開き、該当箇所を探すことです。見つからなければ、AIがそう言ったとは考えないでください。質問するときは、自分の結論を書き込まないでください。「この場合、法律はどう定めているか」と聞き、「この場合、私が勝つに決まっているか」とは聞かないでください。口がゆがむ、片側の手足に力が入らない、胸が押さえつけられるように痛むといった兆候があるときは、まずAIに聞かず、すぐに120（中国の救急番号）へ電話してください。第13節第3項（口がゆがむ、片側の腕に力が入らない）と第13節第7項（胸が締めつけられるように痛む）を参照してください。訴訟で弁護士を頼むお金がない人は、第7節第3項（法律援助を申請する）を参照してください。利益を「小」としました。これは「病気を見分けられたか」という中間指標にすぎず、死亡が減ったという数字がないためです。受益者はあなた自身と家族です。

根拠のレベル

A : メタ分析・大規模コホート・ランダム化試験の具体的な数字がある。法律・制度は条文や公式資料に当たっている.

出典

1. Bean AM, Payne RE, Parsons G, et al. (2026). Reliability of LLMs as medical assistants for the general public: a randomized preregistered study. Nature Medicine, 32(2), 609–615. https://doi.org/10.1038/s41591-025-04074-y
2. Dahl M, Magesh V, Suzgun M, Ho DE (2024). Large Legal Fictions: Profiling Legal Hallucinations in Large Language Models. Journal of Legal Analysis, 16(1), 64–93. https://doi.org/10.1093/jla/laae003
3. Magesh V, Surani F, Dahl M, Suzgun M, Manning CD, Ho DE (2025). Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools. Journal of Empirical Legal Studies, 22(2), 216–242. https://doi.org/10.1111/jels.12413
4. Kalai AT, Nachum O, Vempala SS, Zhang E (2025). Why Language Models Hallucinate. arXiv:2509.04664（预印本，备注里那项）. https://arxiv.org/abs/2509.04664
5. 反方：Ayers JW, Poliak A, Dredze M, et al. (2023). Comparing Physician and Artificial Intelligence Chatbot Responses to Patient Questions Posted to a Public Social Media Forum. JAMA Internal Medicine, 183(6), 589. https://doi.org/10.1001/jamainternmed.2023.1838

中国語の原書からの翻訳です。 原書 第 6 節 第 31 項. 内容が古くなっている場合があり、制度は地域によって違います。実際に手続き・受診・裁判をするときは、窓口・医師・弁護士の説明に従ってください。 免責事項