Sich nicht darauf verlassen, dass ein KI-Chatbot Krankheit und Rechtsfragen richtig beurteilt; vor Arztbesuch, Prozess oder größeren Ausgaben die Begründung im Original nachprüfen

Kosten

Kostet nichts. Jede Prüfung dauert ein paar Minuten bis eine halbe Stunde. Man lässt die KI die Gesetze, Leitlinien oder Studien nennen, auf die sie sich stützt, und sucht die Stelle selbst im Original. Die Gewohnheit, die man ändern muss: nicht handeln, nur weil eine Antwort sicher klingt.

Was es bringt

Zuerst die Krankheit. Nature Medicine veröffentlichte 2026 eine randomisierte Studie mit 1.298 Briten, deren Vorgehen vorab registriert war. Jede Person bekam zwei erfundene Fallbeschreibungen und sollte beurteilen, welche Krankheit vorliegt und ob Notaufnahme oder Beobachtung zu Hause nötig ist. Eine Gruppe nutzte einen KI-Chatbot (GPT-4o, Llama 3, Command R+). Die Kontrollgruppe nutzte ihre üblichen Methoden, meist Internetsuche oder die Website des britischen National Health Service (NHS). Gab man der KI die vollständige Fallbeschreibung, erkannte sie in 94,9 % der Fälle die betroffene Krankheit, und in 56,3 % wurde richtig beurteilt, wohin man gehen sollte. Normale Menschen mit derselben KI erkannten die betroffene Krankheit in weniger als 34,5 % der Fälle, und die richtige Versorgungsstelle nannten sie in weniger als 44,2 %. Die Kontrollgruppe hatte eine 1,76-fach höhere Chance, die Krankheit zu erkennen (95%-KI 1,45 bis 2,13). Die Chance, gefährliche schwere Erkrankungen zu erkennen, war 1,57-fach (1,28 bis 1,92). Bei der Frage, wohin man gehen sollte, waren beide Gruppen ähnlich. Die Autoren sahen sich die Gesprächsprotokolle an: Das Problem lag auf beiden Seiten. Zum einen beschrieben Nutzer die Symptome nicht vollständig; zum anderen nannte die KI die richtige Krankheit, der Nutzer übernahm sie aber nicht. Dann zum Recht. Ein US-Forschungsteam testete 2024 öffentliche Modelle wie ChatGPT 4 mit Fragen zu Urteilen des US-Bundesgerichts. ChatGPT 4 erfand 58 % der Antworten, Llama 2 sogar 88 %. Erfunden heißt: inhaltlich nicht mit den Rechtsfakten übereinstimmend; die Studie nennt das «Halluzination». Das Modell kann nicht unterscheiden, welche Sätze erfunden sind. Wenn die Frage eine falsche rechtliche Prämisse enthält, übernimmt es sie oft ohne Widerspruch. Dasselbe Team testete 2025 juristische Fachwerkzeuge für Anwälte. Diese Werkzeuge versprechen, nicht zu erfinden; tatsächlich waren 17 % bis 33 % der Antworten erfunden. Dass es lohnend wirkt, liegt daran, dass die KI jederzeit verfügbar ist, nichts kostet und so sicher spricht wie ein Arzt oder Anwalt.

Hinweise

Streit: Eine Studie von 2023 nahm 195 Fragen von Patienten aus einem US-Forum und ließ medizinisches Personal ohne Kenntnis der Quelle bewerten. 78,6 % der Bewertungen fanden die Antworten von ChatGPT besser als die von Ärzten. Gemessen wurde aber die Qualität der Antworten, nicht ob die Fragenden am Ende richtig entschieden. Die Studie nutzte das Modell von 2024; neuere Modelle könnten stärker sein. Dieselbe Studie zeigte allerdings auch: Das Abschneiden der KI bei Prüfungen allein sagt nicht voraus, was sie Laien tatsächlich nützt. Warum KI erfindet, erklärten Forscher von OpenAI 2025 in einem nicht begutachteten Papier: Training und Bewertung belohnen das Raten einer Antwort; ein «Ich weiß es nicht» bringt keine Punkte. Deshalb klingt sie auch dann bestimmt, wenn sie unsicher ist. Prüfen kann man so: Lassen Sie die KI Gesetzesnamen und Paragrafen, Leitlinien oder Titel von Studien nennen, dann suchen Sie die Originaltexte auf den offiziellen Websites und die Stelle selbst. Finden Sie sie nicht, gilt: Das hat sie nicht gesagt. Bei Fragen keine eigene Schlussfolgerung hineinschreiben: Fragen Sie «Wie regelt das Gesetz diesen Fall?», nicht «Habe ich in diesem Fall sicher recht?». Anzeichen wie plötzlich schiefer Mund, eine schwache Körperseite oder drückender Brustschmerz sollten Sie nicht erst der KI fragen, sondern direkt 120 wählen, siehe §13.3 (schiefer Mund, schwacher Arm auf einer Seite) und §13.7 (drückender Brustschmerz). Wer sich keinen Anwalt leisten kann, siehe §7.3 (kostenlose Rechtshilfe beantragen). Der Nutzen wird als klein eingestuft, weil nur Zwischenwerte wie das Erkennen einer Krankheit gemessen wurden, nicht Zahlen zu weniger Todesfällen. Der Nutzen geht an Sie selbst und Ihre Familie.

Evidenzgrad

A : Konkrete Zahlen aus Metaanalysen, großen Kohorten oder randomisierten Studien; bei Recht und Politik der Gesetzes- oder Originaltext.

Quellen

1. Bean AM, Payne RE, Parsons G, et al. (2026). Reliability of LLMs as medical assistants for the general public: a randomized preregistered study. Nature Medicine, 32(2), 609–615. https://doi.org/10.1038/s41591-025-04074-y
2. Dahl M, Magesh V, Suzgun M, Ho DE (2024). Large Legal Fictions: Profiling Legal Hallucinations in Large Language Models. Journal of Legal Analysis, 16(1), 64–93. https://doi.org/10.1093/jla/laae003
3. Magesh V, Surani F, Dahl M, Suzgun M, Manning CD, Ho DE (2025). Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools. Journal of Empirical Legal Studies, 22(2), 216–242. https://doi.org/10.1111/jels.12413
4. Kalai AT, Nachum O, Vempala SS, Zhang E (2025). Why Language Models Hallucinate. arXiv:2509.04664（预印本，备注里那项）. https://arxiv.org/abs/2509.04664
5. 反方：Ayers JW, Poliak A, Dredze M, et al. (2023). Comparing Physician and Artificial Intelligence Chatbot Responses to Patient Questions Posted to a Public Social Media Forum. JAMA Internal Medicine, 183(6), 589. https://doi.org/10.1001/jamainternmed.2023.1838

Aus dem chinesischen Original übersetzt. Originalbuch, Abschnitt 6, Tipp 31. Inhalte können veraltet sein, und Regeln unterscheiden sich je nach Ort. Wenn Sie tatsächlich zu einer Behörde, zum Arzt oder vor Gericht gehen, gilt, was Behörde, Ärztin oder Anwalt sagen. Haftungsausschluss