Não confiar em chatbots de IA para julgar sozinho sintomas e questões jurídicas; antes de consultar um médico, fazer um processo ou gastar muito dinheiro, conferir no texto original as fontes que a IA citou

Custo

Não custa nada. Cada conferência leva de alguns minutos a meia hora. Peça à IA que cite a lei, a diretriz ou o artigo em que se baseou, e abra o original para encontrar a frase. O hábito que deve mudar é não seguir algo só porque ela falou com firmeza.

O que você ganha

Primeiro, a doença. Em 2026, a Nature Medicine publicou um ensaio randomizado com 1.298 britânicos comuns, com plano registrado antes do início. Cada um recebeu dois casos clínicos fictícios, e deveria dizer qual era a doença e se devia ir ao pronto-socorro ou observar em casa. Parte usou chatbots de IA, GPT-4o, Llama 3 ou Command R+. O grupo de controle usou seus métodos habituais, principalmente pesquisa na internet ou o site do Serviço Nacional de Saúde britânico (NHS). Quando o caso completo foi entregue diretamente à IA, ela identificou a doença relacionada em 94,9% dos casos, e acertou onde ir em 56,3%. Quando a própria pessoa usou a mesma IA, identificou a doença relacionada em menos de 34,5% e acertou onde ir em menos de 44,2%. O grupo de controle teve 1,76 vez mais chance de identificar a doença relacionada do que o grupo que usou IA (IC 95% 1,45 a 2,13). Para identificar doenças graves com sinais de alerta, 1,57 vez (1,28 a 1,92). Sobre onde ir, os dois grupos ficaram parecidos. Os autores revisaram as conversas e concluíram que o problema estava nos dois lados: o usuário não descrevia todos os sintomas, e a IA citava a doença certa mas o usuário não a aceitava. Depois, o direito. Uma equipe americana, em 2024, testou modelos públicos como o ChatGPT 4 com perguntas sobre precedentes de tribunais federais dos EUA. O ChatGPT 4 teve 58% de respostas com invenções, e o Llama 2, 88%. «Invenção» aqui é conteúdo que não corresponde aos fatos jurídicos; o artigo a chama de «alucinação». O modelo não consegue distinguir qual parte foi inventada. Quando a pergunta do usuário traz uma premissa jurídica errada, ele frequentemente a aceita sem questionar. A mesma equipe, em 2025, testou ferramentas de IA jurídica especializadas usadas por advogados. Elas dizem não inventar, mas entre 17% e 33% de suas respostas continham invenções. Parece vantajoso porque a IA está sempre disponível, não cobra, e fala com a firmeza de um médico ou de um advogado.

Observações

Há controvérsia. Um estudo de 2023 pegou 195 perguntas de pacientes em fóruns americanos e pediu que profissionais de saúde avaliassem as respostas sem saber a fonte. Em 78,6% das avaliações, o ChatGPT foi considerado melhor que um médico. Mas o estudo comparou a qualidade da redação das respostas, e não se a pessoa que perguntou acabou acertando a decisão. O ensaio usou modelos de 2024, e os novos podem ser melhores. Ainda assim, o mesmo ensaio mostrou que o desempenho da IA em um exame não prevê o efeito do seu uso pelo público comum. Por que a IA inventa, pesquisadores da OpenAI explicaram em 2025, num artigo sem revisão por pares: o treinamento e a avaliação recompensam «chutar uma resposta», e dizer «não sei» não rende pontos; por isso, ela afirma com firmeza mesmo quando não tem certeza. Para checar, peça que a IA cite o nome e o número do artigo da lei, o título da diretriz ou do artigo científico; procure o texto oficial no site e encontre a frase. Se não achar, considere que ela não disse aquilo. Ao perguntar, não inclua sua própria conclusão. Pergunte «a lei prevê como nesse caso?», e não «nesse caso eu vou ganhar, não é?». Fala arrastada, fraqueza de um lado do corpo ou dor de peito apertando são sinais para não perguntar à IA: ligue direto para o 120 (número de emergência médica na China), veja §13.3 (boca torta ou fraqueza de um braço) e §13.7 (dor no peito como aperto). Quem vai processar e não tem dinheiro para advogado, veja §7.3 (pedir assistência jurídica gratuita). O benefício foi classificado como pequeno, porque o que se mede são indicadores intermediários, como identificar ou não a doença, e não números de mortes evitadas. Quem se beneficia é você e sua família.

Nível de evidência

A : Números concretos de metanálises, grandes coortes ou ensaios randomizados; em leis e políticas, o texto legal ou oficial.

Fontes

1. Bean AM, Payne RE, Parsons G, et al. (2026). Reliability of LLMs as medical assistants for the general public: a randomized preregistered study. Nature Medicine, 32(2), 609–615. https://doi.org/10.1038/s41591-025-04074-y
2. Dahl M, Magesh V, Suzgun M, Ho DE (2024). Large Legal Fictions: Profiling Legal Hallucinations in Large Language Models. Journal of Legal Analysis, 16(1), 64–93. https://doi.org/10.1093/jla/laae003
3. Magesh V, Surani F, Dahl M, Suzgun M, Manning CD, Ho DE (2025). Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools. Journal of Empirical Legal Studies, 22(2), 216–242. https://doi.org/10.1111/jels.12413
4. Kalai AT, Nachum O, Vempala SS, Zhang E (2025). Why Language Models Hallucinate. arXiv:2509.04664（预印本，备注里那项）. https://arxiv.org/abs/2509.04664
5. 反方：Ayers JW, Poliak A, Dredze M, et al. (2023). Comparing Physician and Artificial Intelligence Chatbot Responses to Patient Questions Posted to a Public Social Media Forum. JAMA Internal Medicine, 183(6), 589. https://doi.org/10.1001/jamainternmed.2023.1838

Traduzido do original em chinês. Livro original, seção 6, dica 31. O conteúdo pode estar desatualizado e as regras mudam de lugar para lugar. Ao resolver um trâmite, ir ao médico ou entrar na Justiça, siga o que disserem o órgão público, o médico ou o advogado. Aviso legal