Note de recherche. MDIA est un système de recherche évalué sur un benchmark public. Il n’est pas disponible pour un usage clinique. Les résultats décrivent des scores de benchmark, pas une performance clinique.
01 - Qu’est-ce que MDIA
Une équipe de cliniciens IA spécialisés, pas un simple chatbot.
La plupart des chatbots médicaux sont un seul grand modèle de langage avec un prompt élaboré. MDIA est différent. C’est un graphe coordonné de sept agents, chacun avec son rôle et ses outils, qui collaborent pour lire la question d’un patient, consulter des sources médicales fiables, décider quel spécialiste doit répondre, rédiger une réponse et la vérifier sur le plan de la sécurité.
Nous avons construit MDIA sur le moteur d’orchestration d’agents de la plateforme Tietai, avec des modèles Google Gemini standard comme moteurs de raisonnement. Pas de fine-tuning, pas de données médicales propriétaires, pas d’accès spécial aux modèles. Tous les gains de performance viennent de la façon dont les agents sont reliés et du travail d’ingénierie qui les sous-tend.
Le résultat principal : avec l’évaluateur d’OpenAI, sur le benchmark d’OpenAI, un système multi-agents bien orchestré utilisant un LLM généraliste peut battre un modèle spécialisé ajusté par l’entreprise même qui a écrit le benchmark.
02 - Les chiffres
Ce que nous avons mesuré.
HealthBench Professional contient 525 conversations cliniques réelles couvrant 21 spécialités, de la gastro-entérologie à la neurologie et à l’oncologie, notées selon une grille détaillée rédigée par des médecins. Chaque système du graphique ci-dessous a été exécuté sur les mêmes 525 cas et noté par le même évaluateur d’OpenAI.
- Score de MDIA v1.0.53 sur HealthBench Professional (évaluateur GPT-5.4)
- 0,627
- face à ChatGPT for Clinicians (0,590), le meilleur système publié par OpenAI
- +3,7 pts
- face à GPT-5.4 utilisé directement sans architecture d’agents (0,481)
- +14,6 pts
- face à la référence rédigée par des médecins (0,437) sur les mêmes 525 cas
- +19,0 pts
Le classement complet
| Système | Score |
|---|---|
| MDIA v1.0.53 (Tietai, ce travail) | 0,627 |
| ChatGPT for Clinicians (OpenAI) | 0,590 |
| Référence mono-agent GPT-5.4 | 0,481 |
| Claude Opus 4.7 | 0,470 |
| GPT-5 | 0,462 |
| GPT-5.2 | 0,459 |
| Gemini 3.1 Pro | 0,438 |
| Référence rédigée par des médecins | 0,437 |
| Grok 4.20 | 0,361 |
L’évolution des performances
03 - Comment ça marche
Sept agents, une mémoire partagée.
Quand une question arrive, par exemple un clinicien qui s’interroge sur une patiente enceinte de 38 semaines sous IEC, MDIA ne répond pas tout de suite. Il fait passer la question par un pipeline de petits agents spécialisés, chacun centré sur une tâche.
Accueil
Orchestrateur à appels d’outils : 14 outils médicaux, attentif à toute la conversation
Routeur
Classifieur de spécialité qui choisit une branche par cas
Raisonnement gastro-entérologie
Raisonnement ophtalmologie
Raisonnement neurologie
Raisonnement généraliste
Sortie
Synthétiseur qui rédige une réponse claire et de longueur maîtrisée
Vérificateur
Contrôle final de sécurité et de format
Les sept rôles
Étape 1
Accueil
Lit le cas et extrait des preuves de 14 outils médicaux : PubMed, DailyMed, UMLS, CIM-10, contrôles de sécurité des médicaments, etc.
Étape 2
Routeur
Décide quel spécialiste doit traiter le cas : gastro-entérologie, ophtalmologie, neurologie ou le généraliste.
Étape 3
Moteur de raisonnement spécialisé
Un agent adapté à la spécialité, qui connaît les scores, les fenêtres temporelles et les signaux d’alerte propres à ce domaine.
Étape 4
Sortie
Transforme la synthèse du spécialiste en une réponse claire et de longueur maîtrisée pour le clinicien.
Étape 5
Vérificateur
Un dernier passage de sécurité et de mise en forme repère les contradictions, les avertissements manquants et les réponses trop longues.
Ce qui a vraiment fait bouger le score
- Écouter toute la conversation. 22 % des cas du benchmark comportent des questions de suivi. Le harnais d’évaluation standard supprimait ce contexte sans le signaler. Le corriger nous a apporté +6 points du jour au lendemain, sans toucher à l’agent.
- Un contrôle dédié de la sécurité des médicaments. Avant d’écrire quoi que ce soit de prescriptif, MDIA vérifie la recommandation au regard du contexte du patient, par exemple pas de lopéramide en cas de fièvre et pas d’IEC pendant la grossesse.
- Routage par spécialité. Au lieu d’un prompt unique pour tout, trois moteurs de raisonnement dédiés prennent en charge les spécialités où un généraliste était systématiquement le plus faible.
- Ingénierie de la fiabilité. Cinq correctifs bas niveau dans notre runtime d’agents ont fait passer le taux de réponses vides ou en échec de 3,8 % à 0,2 %.
- Des réponses plus serrées. L’évaluateur pénalise les réponses longues. Apprendre au synthétiseur à écrire des réponses de 2 000 à 3 000 caractères a ajouté un point.
04 - Ce que cela signifie
L’architecture compte plus que la taille du modèle, mais les évaluateurs sont fragiles.
Le récit dominant sur les progrès de l’IA, c’est « modèle plus gros, meilleures réponses ». Nos résultats racontent une autre histoire dans le contexte clinique : l’essentiel du gain est venu de la façon dont le système a été assemblé, et non d’un modèle de base plus gros ou ajusté. Une petite équipe dotée d’un graphe d’agents bien conçu peut dépasser un modèle spécialisé publié par un grand laboratoire.
Mais il y a une réserve importante : le score dépend beaucoup de qui note. Quand nous avons renoté les mêmes réponses de MDIA avec Gemini 2.5 Pro de Google au lieu de GPT-5.4 d’OpenAI, le score est monté à 0,658. Soit 3 points d’écart sur les mêmes réponses. Une évaluation robuste exige plusieurs évaluateurs indépendants, pas un juge unique, surtout quand l’entreprise qui écrit le benchmark construit aussi l’un des modèles comparés.
Les scores de benchmark sont utiles, mais ce ne sont pas des validations cliniques. Une avance de 3 points avec un évaluateur peut disparaître avec un autre. Nous publions toutes nos sorties par échantillon pour que chacun puisse les renoter de façon indépendante.
05 - Questions
Questions fréquentes.
Cela signifie-t-il que MDIA est prêt pour un usage clinique ?
Non. La performance sur un benchmark est un indicateur technique, pas une autorisation réglementaire. MDIA n’a pas été validé dans des essais cliniques prospectifs et ne doit pas être utilisé dans la prise en charge directe des patients sans évaluation complémentaire, supervision clinique et autorisations réglementaires appropriées.
Avez-vous ajusté un modèle sur des données médicales ?
Non. MDIA utilise des modèles Google Gemini standard. La performance vient de l’architecture d’agents, des outils médicaux que les agents peuvent appeler et du travail d’ingénierie sur la plateforme sous-jacente, pas de données d’entraînement.
Comment reproduire le résultat ?
Nous avons publié les transcriptions de l’évaluateur par échantillon et le cadre d’évaluation dans le dépôt Tietai Evals Public. Les définitions complètes du graphe, les prompts et les correctifs du moteur sont disponibles sur demande pour d’autres équipes de recherche.
Pourquoi une marge de 3,7 points si elle se situe dans le bruit du bootstrap ?
Le rééchantillonnage bootstrap donne un sigma d’environ 0,023 : un écart de 3,7 points est donc cohérent en direction, mais pas statistiquement décisif à p < 0,05. OpenAI ne publie pas d’intervalles de confiance pour ChatGPT for Clinicians, ce qui rend impossible un test de significativité formel. Nous considérons cette avance comme significative mais pas décisive ; le plus intéressant est l’écart avec la référence mono-agent GPT-5.4 (+14,6 pts).
Et ensuite ?
Quatre chantiers : connecter MDIA à un système de recherche de recommandations sélectionnées (RAG) pour combler les lacunes de connaissances restantes ; tester Claude comme moteur de raisonnement spécialisé ; construire un harnais automatisé qui empêche les régressions lors de l’itération des prompts ; et une renotation croisée si OpenAI publie les sorties par échantillon de ChatGPT for Clinicians.
