不要指望靠 AI 聊天机器人自己判断病情和法律问题,看病、打官司、花大钱之前,把它说的依据找到原文核一遍
- 性价比一般
- 证据 A
- 换寿命
- 有争议
- 不花钱
- 顺手就做
- 要点毅力
说人话
把完整病例交给 AI,九成以上它能认出是什么病。但普通人拿它问症状,认出病的反而比自己上网查的人少,该不该去急诊也没判得更准。问法律问题,通用 AI 至少 58% 的回答有编的内容,还会顺着你问题里的错误说法往下讲。
- 成本
不花钱。每次核对要多花几分钟到半小时。让 AI 写出它依据的法条、指南或论文,你自己打开原文,找到那句话。要改的习惯是,别因为它说得肯定就照做。
- 收益
先看看病。2026 年 Nature Medicine 发表了一项随机分组的试验,1298 名英国普通人参加,方案事先登记过。每人拿到两个编好的病例,要判断是什么病、该去急诊还是在家观察。一部分人用 AI 聊天机器人帮忙,用的是 GPT-4o、Llama 3、Command R+。对照组用自己平时的办法,多数是上网搜,或者看英国国家医疗服务体系(NHS)的官网。把完整病例直接交给 AI,它 94.9% 的情况能认出相关的病,56.3% 能判对该去哪看。普通人用同样的 AI,认出相关疾病的不到 34.5%,判对去哪看的不到 44.2%。对照组认出相关疾病的几率是用 AI 的人的 1.76 倍(95% CI 1.45–2.13,可信范围)。认出危险信号类重病的几率是 1.57 倍(1.28–1.92)。判断该去哪看,两边差不多。作者翻了对话记录,问题出在两头。一头是用户没把症状说全,另一头是 AI 提到了对的病,用户却没采纳。
再看法律。一个美国研究团队 2024 年用 ChatGPT 4 等公开模型,问美国联邦法院的判例。ChatGPT 4 有 58% 的回答有编造,Llama 2 高到 88%。编造指和法律事实对不上的内容,论文把它叫「幻觉」。模型分不清自己哪句是编的。用户问题里带着错误的法律前提时,它常常照单全收。同一团队 2025 年又测了律师用的专业法律 AI 工具。这些工具号称不会编,实际 17% 到 33% 的回答有编造。它看起来划算,是因为 AI 随叫随到、不收钱,说话又像医生律师一样肯定
- 备注
争议。2023 年一项研究从美国论坛抽了 195 个患者提问,让医疗人员不看来源打分。78.6% 的评分认为 ChatGPT 答得比医生好。但它比的是回答写得好不好,没看提问的人最后判断对没有。试验用的是 2024 年的模型,新模型可能更强。不过同一项试验也发现,AI 单独考试的成绩预测不了普通人用它的效果。AI 为什么会编,OpenAI 的研究人员 2025 年在一篇未经同行评审的论文里解释过。训练和打分的方式奖励「猜一个答案」,答「不知道」拿不到分,所以它没把握时也说得很肯定。核对的办法是让它写出法条名称和条号、指南或论文题目,你去官方网站打开原文找那句话,找不到就当它没说过。提问时别把自己的结论写进去,问「这种情况法律怎么规定」,别问「这种情况我是不是赢定了」。突然嘴歪、一侧没劲、胸口压着疼这类信号,别先问 AI,直接打 120,见第 13 节第 3 条(嘴歪、一侧胳膊没劲)和第 13 节第 7 条(胸口压着疼)。打官司没钱请律师的,见第 7 节第 3 条(申请法律援助)。收益定小,因为只有「认没认出病」这类中间指标,没有少死人的数字。受益人是你自己和家里人。
- 证据等级
- A :有具体数字,来自荟萃分析、大型队列或随机试验;法律政策类指引到了法条或官方原文。收益小,性价比一般。
- 来源
-
- Bean AM, Payne RE, Parsons G, et al. (2026). Reliability of LLMs as medical assistants for the general public: a randomized preregistered study. Nature Medicine, 32(2), 609–615. https://doi.org/10.1038/s41591-025-04074-y
- Dahl M, Magesh V, Suzgun M, Ho DE (2024). Large Legal Fictions: Profiling Legal Hallucinations in Large Language Models. Journal of Legal Analysis, 16(1), 64–93. https://doi.org/10.1093/jla/laae003
- Magesh V, Surani F, Dahl M, Suzgun M, Manning CD, Ho DE (2025). Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools. Journal of Empirical Legal Studies, 22(2), 216–242. https://doi.org/10.1111/jels.12413
- Kalai AT, Nachum O, Vempala SS, Zhang E (2025). Why Language Models Hallucinate. arXiv:2509.04664(预印本,备注里那项). https://arxiv.org/abs/2509.04664
- 反方:Ayers JW, Poliak A, Dredze M, et al. (2023). Comparing Physician and Artificial Intelligence Chatbot Responses to Patient Questions Posted to a Public Social Media Forum. JAMA Internal Medicine, 183(6), 589. https://doi.org/10.1001/jamainternmed.2023.1838
原书第 6 节第 31 条。内容可能过时,不少政策各地执行不一样,真去办事、看病、打官司时以当地部门、医生和律师的说法为准。免责声明