Eine kontrollierte Studie mit 1.298 Teilnehmern deckt eine erhebliche Diskrepanz zwischen dem versprochenen Nutzen großer Sprachmodelle (LLMs) und ihrer tatsächlichen Nützlichkeit für Menschen auf, die medizinischen Rat suchen. Während diese Modelle bei standardisierten Tests des medizinischen Wissens hervorragende Ergebnisse erzielen, bergen sie Risiken für echte Nutzer, die Hilfe bei ihren eigenen medizinischen Symptomen suchen.
Die Teilnehmer wurden von den Forschern nach dem Zufallsprinzip einer Gruppe zugewiesen, die Unterstützung durch ein LLM (GPT-4o, Llama 3, Command R+) erhielt, oder einer Gruppe, die eine Quelle ihrer Wahl nutzen durfte (Kontrollgruppe).
Zu den festgestellten Ergebnissen gehören insbesondere:
- Die an der Studie teilnehmenden Personen nutzten LLMs, um Gesundheitsprobleme zu erkennen, zu untersuchen und auf der Grundlage von Informationen, die in einer Reihe von spezifischen, von Ärzten entwickelten medizinischen Szenarien bereitgestellt wurden, über geeignete Maßnahmen zu entscheiden, wie zum Beispiel den Besuch eines Hausarztes oder die Einweisung ins Krankenhaus. Diejenigen, die LLMs nutzten, trafen keine besseren Entscheidungen als Teilnehmer, die sich auf herkömmliche Methoden wie Online-Recherchen oder ihr eigenes Urteilsvermögen stützten.
- Die Studie deckte Kommunikationsprobleme in beide Richtungen auf. Die Teilnehmer wussten oft nicht, welche Informationen die LLMs benötigten, um genaue Ratschläge zu geben, und die Antworten, die sie erhielten, enthielten häufig sowohl gute als auch schlechte Empfehlungen, was es schwierig machte, die beste Vorgehensweise zu ermitteln.
Die Forscher identifizieren Benutzerinteraktionen als eine Herausforderung für den Einsatz von LLMs zur medizinischen Beratung. Die Interaktion von Patientinnen und Patienten mit Großen Sprachmodellen LLMs scheint der zentrale Schwachpunkt bei der Zuverlässigkeit in der Beurteilung von Erkrankungen zu sein. Die heutigen Bewertungsmethoden für LLMs werden der Komplexität der Interaktion mit menschlichen Nutzern nicht gerecht. Ähnlich wie bei klinischen Studien für neue Medikamente sollten LLM-Systeme vor ihrem Einsatz in der Praxis getestet werden. Daher empfehlen die Forscher für die Zukunft systematische Tests mit menschlichen Anwendern, um LLMs hinsichtlich der Interaktion mit Menschen und den daraus resultierenden Herausforderungen zu prüfen, bevor LLM im Bereich des Gesundheitswesens eingesetzt werden.
Ein Fazit der Forscher, welches Dr. Rebecca Payne, Fachärztin für Allgemeinmedizin und leitende Medizinerin der Studie, zog:
“Trotz des ganzen Hypes ist die KI einfach noch nicht bereit, die Rolle des Arztes zu übernehmen. Patienten müssen sich bewusst sein, dass es gefährlich sein kann, ein großes Sprachmodell nach ihren Symptomen zu fragen, da es falsche Diagnosen stellen und nicht erkennen kann, wann dringende Hilfe benötigt wird.”
URLs:
- Publikation der Studie in Nature: https://www.nature.c … s/s41591-025-04074-y
- Bericht beim Oxfort Internet Institute: https://www.oii.ox.a … ving-medical-advice/
- Deutsches Ärzteblatt: https://www.aerztebl … 05-8658-299f6987394b