跳到正文

不要指望靠 AI 聊天機器人自己判斷病情和法律問題,看病、打官司、花大錢之前,把它說的依據找到原文核一遍

  • 價效比一般
  • 證據 A
  • 換壽命
  • 有爭議
  • 不花錢
  • 順手就做
  • 要點毅力

說人話

把完整病例交給 AI,九成以上它能認出是什麼病。但普通人拿它問症狀,認出病的反而比自己上網查的人少,該不該去急診也沒判得更準。問法律問題,通用 AI 至少 58% 的回答有編的內容,還會順著你問題裡的錯誤說法往下講。

成本

不花錢。每次核對要多花幾分鐘到半小時。讓 AI 寫出它依據的法條、指南或論文,你自己開啟原文,找到那句話。要改的習慣是,別因為它說得肯定就照做。

收益

先看看病。2026 年 Nature Medicine 發表了一項隨機分組的試驗,1298 名英國普通人參加,方案事先登記過。每人拿到兩個編好的病例,要判斷是什麼病、該去急診還是在家觀察。一部分人用 AI 聊天機器人幫忙,用的是 GPT-4o、Llama 3、Command R+。對照組用自己平時的辦法,多數是上網搜,或者看英國國家醫療服務體系(NHS)的官網。把完整病例直接交給 AI,它 94.9% 的情況能認出相關的病,56.3% 能判對該去哪看。普通人用同樣的 AI,認出相關疾病的不到 34.5%,判對去哪看的不到 44.2%。對照組認出相關疾病的機率是用 AI 的人的 1.76 倍(95% CI 1.45–2.13,可信範圍)。認出危險訊號類重病的機率是 1.57 倍(1.28–1.92)。判斷該去哪看,兩邊差不多。作者翻了對話記錄,問題出在兩頭。一頭是使用者沒把症狀說全,另一頭是 AI 提到了對的病,使用者卻沒采納。

再看法律。一個美國研究團隊 2024 年用 ChatGPT 4 等公開模型,問美國聯邦法院的判例。ChatGPT 4 有 58% 的回答有編造,Llama 2 高到 88%。編造指和法律事實對不上的內容,論文把它叫「幻覺」。模型分不清自己哪句是編的。使用者問題裡帶著錯誤的法律前提時,它常常照單全收。同一團隊 2025 年又測了律師用的專業法律 AI 工具。這些工具號稱不會編,實際 17% 到 33% 的回答有編造。它看起來划算,是因為 AI 隨叫隨到、不收錢,說話又像醫生律師一樣肯定

備註

爭議。2023 年一項研究從美國論壇抽了 195 個患者提問,讓醫療人員不看來源打分。78.6% 的評分認為 ChatGPT 答得比醫生好。但它比的是回答寫得好不好,沒看提問的人最後判斷對沒有。試驗用的是 2024 年的模型,新模型可能更強。不過同一項試驗也發現,AI 單獨考試的成績預測不了普通人用它的效果。AI 為什麼會編,OpenAI 的研究人員 2025 年在一篇未經同行評審的論文裡解釋過。訓練和打分的方式獎勵「猜一個答案」,答「不知道」拿不到分,所以它沒把握時也說得很肯定。核對的辦法是讓它寫出法條名稱和條號、指南或論文題目,你去官方網站開啟原文找那句話,找不到就當它沒說過。提問時別把自己的結論寫進去,問「這種情況法律怎麼規定」,別問「這種情況我是不是贏定了」。突然嘴歪、一側沒勁、胸口壓著疼這類訊號,別先問 AI,直接打 120,見第 13 節第 3 條(嘴歪、一側胳膊沒勁)和第 13 節第 7 條(胸口壓著疼)。打官司沒錢請律師的,見第 7 節第 3 條(申請法律援助)。收益定小,因為只有「認沒認出病」這類中間指標,沒有少死人的數字。受益人是你自己和家裡人。

證據等級
A : 有具體數字,來自薈萃分析、大型佇列或隨機試驗;法律政策類指引到了法條或官方原文.
來源
  1. Bean AM, Payne RE, Parsons G, et al. (2026). Reliability of LLMs as medical assistants for the general public: a randomized preregistered study. Nature Medicine, 32(2), 609–615. https://doi.org/10.1038/s41591-025-04074-y
  2. Dahl M, Magesh V, Suzgun M, Ho DE (2024). Large Legal Fictions: Profiling Legal Hallucinations in Large Language Models. Journal of Legal Analysis, 16(1), 64–93. https://doi.org/10.1093/jla/laae003
  3. Magesh V, Surani F, Dahl M, Suzgun M, Manning CD, Ho DE (2025). Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools. Journal of Empirical Legal Studies, 22(2), 216–242. https://doi.org/10.1111/jels.12413
  4. Kalai AT, Nachum O, Vempala SS, Zhang E (2025). Why Language Models Hallucinate. arXiv:2509.04664(预印本,备注里那项). https://arxiv.org/abs/2509.04664
  5. 反方:Ayers JW, Poliak A, Dredze M, et al. (2023). Comparing Physician and Artificial Intelligence Chatbot Responses to Patient Questions Posted to a Public Social Media Forum. JAMA Internal Medicine, 183(6), 589. https://doi.org/10.1001/jamainternmed.2023.1838

原書第 6 節第 31 條. 內容可能過時,不少政策各地執行不一樣,真去辦事、看病、打官司時以當地部門、醫生和律師的說法為準。 免責宣告