Forschungshinweis. MDIA ist ein Forschungssystem, das an einem öffentlichen Benchmark evaluiert wurde. Es ist nicht für den klinischen Einsatz verfügbar. Die Ergebnisse beschreiben Benchmark-Werte, keine klinische Leistung.
01 - Was ist MDIA
Ein Team spezialisierter KI-Kliniker, kein einzelner Chatbot.
Die meisten medizinischen Chatbots sind ein einzelnes großes Sprachmodell mit einem ausgefeilten Prompt. MDIA ist anders. Es ist ein koordinierter Graph aus sieben Agenten mit jeweils eigener Rolle und eigenen Tools, die gemeinsam die Frage eines Patienten lesen, in vertrauenswürdigen medizinischen Quellen nachschlagen, entscheiden, welcher Spezialist antworten soll, eine Antwort schreiben und sie auf Sicherheit prüfen.
Wir haben MDIA auf der Agenten-Orchestrierungs-Engine der Tietai-Plattform gebaut und Standardmodelle von Google Gemini als zugrunde liegende Reasoner verwendet. Kein Fine-Tuning, keine proprietären medizinischen Daten, kein besonderer Modellzugang. Alle Leistungsgewinne stammen aus der Art, wie die Agenten verbunden sind, und aus der Engineering-Arbeit dahinter.
Das zentrale Ergebnis: Mit OpenAIs eigenem Grader und auf OpenAIs eigenem Benchmark kann ein gut orchestriertes Multi-Agenten-System mit einem Allzweck-LLM ein domänenspezifisches Modell schlagen, das von dem Unternehmen feinabgestimmt wurde, das den Benchmark geschrieben hat.
02 - Die Zahlen
Was wir gemessen haben.
HealthBench Professional umfasst 525 echte klinische Gespräche aus 21 Fachgebieten, von der Gastroenterologie über die Neurologie bis zur Onkologie, bewertet nach einer detaillierten, von Ärzten verfassten Rubrik. Jedes System in der folgenden Grafik lief auf denselben 525 Fällen und wurde vom selben OpenAI-Grader bewertet.
- Score von MDIA v1.0.53 bei HealthBench Professional (GPT-5.4-Grader)
- 0,627
- gegenüber ChatGPT for Clinicians (0,590), OpenAIs bestem veröffentlichtem System
- +3,7 Pp.
- gegenüber GPT-5.4, direkt ohne Agentenarchitektur genutzt (0,481)
- +14,6 Pp.
- gegenüber der ärztlich verfassten Baseline (0,437) auf denselben 525 Fällen
- +19,0 Pp.
Die vollständige Rangliste
| System | Score |
|---|---|
| MDIA v1.0.53 (Tietai, diese Arbeit) | 0,627 |
| ChatGPT for Clinicians (OpenAI) | 0,590 |
| GPT-5.4-Single-Agent-Baseline | 0,481 |
| Claude Opus 4.7 | 0,470 |
| GPT-5 | 0,462 |
| GPT-5.2 | 0,459 |
| Gemini 3.1 Pro | 0,438 |
| Ärztlich verfasste Baseline | 0,437 |
| Grok 4.20 | 0,361 |
Wie sich die Leistung entwickelt hat
03 - So funktioniert es
Sieben Agenten, ein gemeinsames Gedächtnis.
Wenn eine Frage eintrifft – etwa von einer Ärztin zu einer Patientin in der 38. Schwangerschaftswoche, die ACE-Hemmer einnimmt –, antwortet MDIA nicht sofort. Es führt die Frage durch eine Pipeline kleiner, spezialisierter Agenten, die sich jeweils auf eine Aufgabe konzentrieren.
Intake
Orchestrator mit Tool-Aufrufen: 14 medizinische Tools, berücksichtigt das ganze Gespräch
Router
Fachgebiets-Klassifikator, der pro Fall einen Zweig wählt
Reasoner Gastroenterologie
Reasoner Augenheilkunde
Reasoner Neurologie
Generalist-Reasoner
Output
Synthesizer, der eine klare Antwort mit kontrollierter Länge schreibt
Verifier
Abschließende Sicherheits- und Formatprüfung
Die sieben Rollen
Schritt 1
Intake
Liest den Fall und holt Evidenz aus 14 medizinischen Tools: PubMed, DailyMed, UMLS, ICD-10, Arzneimittelsicherheitsprüfungen und mehr.
Schritt 2
Router
Entscheidet, welcher Spezialist den Fall übernehmen soll: Gastroenterologie, Augenheilkunde, Neurologie oder der Generalist.
Schritt 3
Fach-Reasoner
Ein auf das Fachgebiet abgestimmter Agent, der die passenden Scores, Zeitfenster und Warnzeichen dieses Bereichs kennt.
Schritt 4
Output
Macht aus dem Bericht des Spezialisten eine klare Antwort mit kontrollierter Länge für die Ärztin oder den Arzt.
Schritt 5
Verifier
Ein abschließender Sicherheits- und Formatdurchgang findet Widersprüche, fehlende Warnhinweise und zu lange Antworten.
Was den Score wirklich bewegt hat
- Das ganze Gespräch hören. 22 % der Fälle im Benchmark haben Folgefragen. Das Standard-Evaluierungs-Harness hat diesen Kontext stillschweigend verworfen. Die Korrektur brachte über Nacht +6 Punkte, ohne den Agenten überhaupt zu ändern.
- Eine spezielle Arzneimittelsicherheitsprüfung. Bevor MDIA etwas Verordnendes schreibt, prüft es die Empfehlung gegen den Patientenkontext – etwa kein Loperamid bei Fieber und keine ACE-Hemmer in der Schwangerschaft.
- Routing nach Fachgebiet. Statt eines einzigen Prompts für alles übernehmen drei eigene Reasoner die Fachgebiete, in denen ein Generalist systematisch am schwächsten war.
- Zuverlässigkeits-Engineering. Fünf Low-Level-Korrekturen in unserer Agenten-Laufzeit senkten die Rate leerer oder fehlgeschlagener Antworten von 3,8 % auf 0,2 %.
- Knappere Antworten. Der Grader bestraft lange Antworten. Dem Synthesizer beizubringen, Antworten mit 2.000 bis 3.000 Zeichen zu schreiben, brachte einen weiteren Punkt.
04 - Was das bedeutet
Architektur zählt mehr als Modellgröße, aber Grader sind fragil.
Die gängige Erzählung über KI-Fortschritt lautet „größeres Modell, bessere Antworten“. Unsere Ergebnisse erzählen für den klinischen Bereich eine andere Geschichte: Der Großteil des Zugewinns kam daher, wie das System zusammengesetzt war, nicht von einem größeren oder feinabgestimmten Basismodell. Ein kleines Team mit einem gut gebauten Agentengraphen kann ein domänenspezifisches Modell eines großen Labors übertreffen.
Es gibt jedoch einen wichtigen Vorbehalt: Der Score hängt stark davon ab, wer bewertet. Als wir dieselben MDIA-Antworten mit Googles Gemini 2.5 Pro statt OpenAIs GPT-5.4 neu bewerteten, stieg der Score auf 0,658. Das sind 3 Punkte Unterschied bei denselben Antworten. Robuste Evaluierung braucht mehrere unabhängige Grader, nicht einen einzigen Richter – besonders wenn das Unternehmen, das den Benchmark schreibt, auch eines der verglichenen Modelle baut.
Benchmark-Scores sind nützlich, aber keine klinische Validierung. Ein Vorsprung von 3 Punkten unter einem Grader kann unter einem anderen verschwinden. Wir veröffentlichen alle Ausgaben pro Fall, damit jeder sie unabhängig neu bewerten kann.
05 - Fragen
Häufige Fragen.
Heißt das, dass MDIA für den klinischen Einsatz bereit ist?
Nein. Benchmark-Leistung ist ein technischer Indikator, keine behördliche Zulassung. MDIA wurde nicht in prospektiven klinischen Studien validiert und sollte ohne weitere Evaluierung, ärztliche Aufsicht und die entsprechenden behördlichen Freigaben nicht in der direkten Patientenversorgung eingesetzt werden.
Haben Sie ein Modell mit medizinischen Daten feinabgestimmt?
Nein. MDIA nutzt Standardmodelle von Google Gemini. Die Leistung stammt aus der Agentenarchitektur, den medizinischen Tools, die die Agenten aufrufen können, und der Engineering-Arbeit an der zugrunde liegenden Plattform, nicht aus Trainingsdaten.
Wie lässt sich das Ergebnis reproduzieren?
Wir haben die Grader-Transkripte pro Fall und das Evaluierungs-Framework im Repository Tietai Evals Public veröffentlicht. Die vollständigen Graph-Definitionen, Prompts und Engine-Korrekturen stellen wir anderen Forschungsteams auf Anfrage zur Verfügung.
Warum ein Abstand von 3,7 Punkten, wenn er im Bootstrap-Rauschen liegt?
Das Bootstrap-Resampling ergibt ein Sigma von etwa 0,023, ein Abstand von 3,7 Punkten ist also in der Richtung konsistent, aber bei p < 0,05 statistisch nicht entscheidend. OpenAI veröffentlicht keine Konfidenzintervalle für ChatGPT for Clinicians, was einen formalen Signifikanztest unmöglich macht. Wir werten den Vorsprung als aussagekräftig, aber nicht als K.-o.-Ergebnis; interessanter ist der Abstand zur GPT-5.4-Single-Agent-Baseline (+14,6 Pp.).
Wie geht es weiter?
Vier Dinge: MDIA an ein kuratiertes Leitlinien-Retrieval-System (RAG) anbinden, um die verbleibenden Wissenslücken zu schließen; Claude als Fach-Reasoner testen; ein automatisiertes Harness bauen, das Regressionen bei der Prompt-Iteration verhindert; und eine systemübergreifende Neubewertung, falls OpenAI Ausgaben pro Fall für ChatGPT for Clinicians veröffentlicht.
