AI 챗봇에게 병과 법률 문제를 맡기지 말고, 진료·소송·큰돈 지출 전에 AI가 댄 근거를 원문에서 확인하기

비용

돈은 들지 않습니다. 매번 확인하는 데 몇 분에서 30분 정도 걸립니다. AI가 근거로 든 법 조항, 지침, 논문을 적어 달라고 한 뒤, 직접 원문을 열어 그 문장을 찾으십시오. 고쳐야 할 습관은, 말을 단정적으로 한다고 해서 그대로 따르지 않는 것입니다.

얻는 것

먼저 진료를 봅니다. 2026년 Nature Medicine은 무작위 배정 시험을 발표했습니다. 영국 일반인 1,298명이 참여했고, 방안은 사전에 등록되었습니다. 각 사람은 미리 만든 두 개의 병례를 받아, 어떤 병인지 판단하고, 응급실에 갈지 집에서 지켜볼지 결정해야 했습니다. 일부는 AI 챗봇의 도움을 받았는데, 사용한 것은 GPT-4o, Llama 3, Command R+였습니다. 대조군은 평소 방식, 대부분 인터넷 검색이나 영국 국가보건서비스(NHS) 공식 웹사이트를 사용했습니다. 완전한 병례를 AI에 그대로 넘기면, AI는 94.9%의 경우 관련 질병을 알아맞혔고, 56.3%의 경우 어디에 가야 하는지 맞혔습니다. 일반인이 같은 AI를 사용하면 관련 질병을 알아맞힌 비율은 34.5% 미만이었고, 어디에 가야 하는지 맞힌 비율은 44.2% 미만이었습니다. 대조군이 관련 질병을 알아맞힐 확률은 AI를 쓴 사람의 1.76배였습니다(95% CI 1.452.13, 신뢰구간). 위험 신호가 있는 중증 질환을 알아맞힐 확률은 1.57배였습니다(1.281.92). 어디에 가야 하는지 판단하는 것은 두 집단이 비슷했습니다. 저자가 대화 기록을 살펴보니, 문제는 두 방향에 있었습니다. 하나는 사용자가 증상을 충분히 설명하지 않은 것이고, 다른 하나는 AI가 맞는 병을 언급했는데도 사용자가 그것을 받아들이지 않은 것입니다. 다음으로 법률을 봅니다. 미국 연구팀은 2024년 ChatGPT 4 등 공개 모델에 미국 연방 법원의 판례를 물었습니다. ChatGPT 4는 답변의 58%에 지어낸 내용이 있었고, Llama 2는 88%로 더 높았습니다. 지어낸 내용이란 법률 사실과 맞지 않는 내용을 말하며, 논문은 이를 「환각(hallucination)」이라고 불렀습니다. 모델은 자기가 말한 내용 중 어느 문장이 지어낸 것인지 구분하지 못합니다. 사용자의 질문에 잘못된 법률 전제가 들어 있을 때, 모델은 종종 그대로 받아들입니다. 같은 연구팀은 2025년에 변호사가 쓰는 전문 법률 AI 도구도 시험했습니다. 이 도구들은 지어내지 않는다고 주장했지만, 실제로는 답변의 17%~33%에 지어낸 내용이 있었습니다. 이 방법이 좋아 보이는 것은 AI는 언제든 응답하고 돈도 받지 않으며, 의사나 변호사처럼 단정적으로 말하기 때문입니다.

참고

논란이 있는 부분입니다. 2023년 연구는 미국 포럼에서 환자 질문 195개를 뽑아, 의료진이 출처를 보지 않고 점수를 매기게 했습니다. 78.6%의 평가는 ChatGPT가 의사보다 답을 잘했다고 판단했습니다. 그러나 이 연구가 비교한 것은 답변이 얼마나 잘 쓰였는지이며, 질문한 사람이 최종적으로 올바른 판단을 했는지는 보지 않았습니다. 이 시험은 2024년 모델을 사용했으므로, 새 모델은 더 강할 수 있습니다. 다만 같은 시험에서, AI 단독 시험 성적이 일반인이 AI를 사용했을 때의 효과를 예측하지 못한다는 것도 확인되었습니다. AI가 왜 지어내는지는, OpenAI 연구자들이 2025년 동료 심사를 거치지 않은 논문에서 설명했습니다. 학습과 채점 방식이 「답을 추측하는 것」에 보상을 주고, 「모른다」는 답에는 점수를 주지 않기 때문에, 확신이 없을 때도 단정적으로 말한다는 것입니다. 확인 방법은, AI에게 법 조항 명칭과 조문 번호, 지침이나 논문의 제목을 적게 한 뒤, 공식 웹사이트에서 원문을 열어 그 문장을 찾는 것입니다. 찾지 못하면 그 말을 하지 않은 것으로 여기십시오. 질문할 때는 자기 결론을 적지 마십시오. 「이런 경우 법률이 어떻게 규정하는가」라고 묻고, 「이런 경우 내가 이기는 게 확실한가」라고 묻지 마십시오. 갑자기 입이 돌아가고, 한쪽에 힘이 빠지고, 가슴이 짓누르듯 아픈 신호는 AI에게 먼저 묻지 말고, 바로 120(중국 구급 전화)에 전화하십시오. 제13절 제3항(입이 돌아가거나 한쪽 팔에 힘이 없을 때)와 제13절 제7항(가슴이 짓누르듯 아플 때)를 보십시오. 소송을 할 돈이 없어 변호사를 쓸 수 없다면, 제7절 제3항(법률 구조 신청하기)를 보십시오. 이 항목의 이득 수준은 작다고 봤는데, 「병을 알아맞혔는가」처럼 중간 지표만 있을 뿐 목숨을 몇 명 살렸는지에 대한 수치가 없기 때문입니다. 수혜자는 본인과 가족입니다.

근거 수준

A : 메타분석, 대규모 코호트, 무작위 시험의 구체적 수치가 있음. 법률·정책은 조문이나 공식 문서를 확인함.

출처

1. Bean AM, Payne RE, Parsons G, et al. (2026). Reliability of LLMs as medical assistants for the general public: a randomized preregistered study. Nature Medicine, 32(2), 609–615. https://doi.org/10.1038/s41591-025-04074-y
2. Dahl M, Magesh V, Suzgun M, Ho DE (2024). Large Legal Fictions: Profiling Legal Hallucinations in Large Language Models. Journal of Legal Analysis, 16(1), 64–93. https://doi.org/10.1093/jla/laae003
3. Magesh V, Surani F, Dahl M, Suzgun M, Manning CD, Ho DE (2025). Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools. Journal of Empirical Legal Studies, 22(2), 216–242. https://doi.org/10.1111/jels.12413
4. Kalai AT, Nachum O, Vempala SS, Zhang E (2025). Why Language Models Hallucinate. arXiv:2509.04664（预印本，备注里那项）. https://arxiv.org/abs/2509.04664
5. 反方：Ayers JW, Poliak A, Dredze M, et al. (2023). Comparing Physician and Artificial Intelligence Chatbot Responses to Patient Questions Posted to a Public Social Media Forum. JAMA Internal Medicine, 183(6), 589. https://doi.org/10.1001/jamainternmed.2023.1838

중국어 원서를 번역했습니다. 원서 제 6 절 제 31 항. 내용이 오래되었을 수 있고 제도는 지역마다 다릅니다. 실제로 민원·진료·소송을 할 때는 담당 기관, 의사, 변호사의 안내를 따르세요. 면책 고지