Nota de investigación. MDIA es un sistema de investigación evaluado en un benchmark público. No está disponible para uso clínico. Los resultados describen puntuaciones de benchmark, no rendimiento clínico.
01 - Qué es MDIA
Un equipo de clínicos de IA especializados, no un único chatbot.
La mayoría de los chatbots médicos son un único gran modelo de lenguaje con un prompt sofisticado. MDIA es distinto. Es un grafo coordinado de siete agentes, cada uno con su propio rol y herramientas, que trabajan juntos para leer la pregunta de un paciente, consultar fuentes médicas fiables, decidir qué especialista debe responder, redactar una respuesta y revisarla por seguridad.
Construimos MDIA sobre el motor de orquestación de agentes de la plataforma Tietai, usando modelos Google Gemini estándar como razonadores. Sin ajuste fino, sin datos médicos propietarios, sin acceso especial a modelos. Toda la mejora de rendimiento viene de cómo se conectan los agentes y del trabajo de ingeniería que hay detrás.
El hallazgo principal: con el propio evaluador de OpenAI y en el propio benchmark de OpenAI, un sistema multiagente bien orquestado con un LLM de propósito general puede superar a un modelo específico del dominio ajustado por la empresa que escribió el benchmark.
02 - Las cifras
Qué medimos.
HealthBench Professional contiene 525 conversaciones clínicas reales de 21 especialidades, de la gastroenterología a la neurología y la oncología, evaluadas con una rúbrica detallada escrita por médicos. Todos los sistemas del gráfico se ejecutaron sobre los mismos 525 casos y se evaluaron con el mismo evaluador de OpenAI.
- Puntuación de MDIA v1.0.53 en HealthBench Professional (evaluador GPT-5.4)
- 0,627
- frente a ChatGPT for Clinicians (0,590), el mejor sistema publicado de OpenAI
- +3,7 pp
- frente a GPT-5.4 usado directamente sin arquitectura de agentes (0,481)
- +14,6 pp
- frente a la referencia redactada por médicos (0,437) en los mismos 525 casos
- +19,0 pp
La clasificación completa
| Sistema | Puntuación |
|---|---|
| MDIA v1.0.53 (Tietai, este trabajo) | 0,627 |
| ChatGPT for Clinicians (OpenAI) | 0,590 |
| Referencia de agente único con GPT-5.4 | 0,481 |
| Claude Opus 4.7 | 0,470 |
| GPT-5 | 0,462 |
| GPT-5.2 | 0,459 |
| Gemini 3.1 Pro | 0,438 |
| Referencia redactada por médicos | 0,437 |
| Grok 4.20 | 0,361 |
Cómo evolucionó el rendimiento
03 - Cómo funciona
Siete agentes, una memoria compartida.
Cuando llega una pregunta, por ejemplo un clínico que pregunta por una paciente embarazada de 38 semanas que toma IECA, MDIA no responde enseguida. Lleva la pregunta por un pipeline de agentes pequeños y especializados, cada uno centrado en una tarea.
Recepción
Orquestador con llamadas a herramientas: 14 herramientas médicas y toda la conversación en cuenta
Enrutador
Clasificador de especialidad que elige una rama por caso
Razonador de digestivo
Razonador de oftalmología
Razonador de neurología
Razonador generalista
Salida
Sintetizador que escribe una respuesta clara y de longitud controlada
Verificador
Comprobación final de seguridad y formato
Los siete roles
Paso 1
Recepción
Lee el caso y extrae evidencia de 14 herramientas médicas: PubMed, DailyMed, UMLS, CIE-10, comprobaciones de seguridad de fármacos y más.
Paso 2
Enrutador
Decide qué especialista debe atender el caso: digestivo, oftalmología, neurología o el generalista.
Paso 3
Razonador especialista
Un agente ajustado a la especialidad que conoce las escalas, las ventanas temporales y los signos de alarma adecuados de ese ámbito.
Paso 4
Salida
Convierte el informe del especialista en una respuesta clara y de longitud controlada para el clínico.
Paso 5
Verificador
Una última pasada de seguridad y formato detecta contradicciones, advertencias que faltan y respuestas demasiado largas.
Lo que de verdad movió la puntuación
- Escuchar toda la conversación. El 22 % de los casos del benchmark tienen preguntas de seguimiento. El arnés de evaluación estándar descartaba ese contexto sin avisar. Corregirlo nos dio +6 puntos de la noche a la mañana sin cambiar nada del agente.
- Una comprobación específica de seguridad de fármacos. Antes de escribir nada prescriptivo, MDIA verifica la recomendación frente al contexto del paciente, por ejemplo, nada de loperamida si hay fiebre y nada de IECA en el embarazo.
- Enrutamiento por especialidad. En lugar de un único prompt para todo, tres razonadores dedicados se ocupan de las especialidades en las que un generalista era sistemáticamente más débil.
- Ingeniería de fiabilidad. Cinco correcciones de bajo nivel en nuestro runtime de agentes redujeron la tasa de respuestas vacías o fallidas del 3,8 % al 0,2 %.
- Respuestas más ajustadas. El evaluador penaliza las respuestas largas. Enseñar al sintetizador a escribir respuestas de 2.000 a 3.000 caracteres añadió otro punto.
04 - Qué significa
La arquitectura importa más que el tamaño del modelo, pero los evaluadores son frágiles.
El relato popular sobre el progreso de la IA es “modelo más grande, mejores respuestas”. Nuestros resultados cuentan otra historia en el ámbito clínico: la mayor parte de la mejora vino de cómo se montó el sistema, no de un modelo base más grande o ajustado. Un equipo pequeño con un grafo de agentes bien diseñado puede superar a un modelo específico del dominio lanzado por un gran laboratorio.
Pero hay una advertencia importante: la puntuación depende mucho de quién evalúa. Cuando volvimos a evaluar las mismas respuestas de MDIA con Gemini 2.5 Pro de Google en lugar de GPT-5.4 de OpenAI, la puntuación subió a 0,658. Son 3 puntos de diferencia con las mismas respuestas. Una evaluación robusta necesita varios evaluadores independientes, no un único juez, sobre todo cuando la empresa que escribe el benchmark es también la que construye uno de los modelos comparados.
Las puntuaciones de benchmark son útiles, pero no son validación clínica. Una ventaja de 3 puntos con un evaluador puede desaparecer con otro. Publicamos todas nuestras salidas por muestra para que cualquiera pueda volver a evaluarlas de forma independiente.
05 - Preguntas
Preguntas frecuentes.
¿Significa esto que MDIA está listo para uso clínico?
No. El rendimiento en un benchmark es un indicador técnico, no una aprobación regulatoria. MDIA no se ha validado en ensayos clínicos prospectivos y no debe usarse en la atención directa a pacientes sin más evaluación, supervisión clínica y las autorizaciones regulatorias pertinentes.
¿Ajustasteis un modelo con datos médicos?
No. MDIA usa modelos Google Gemini estándar. El rendimiento procede de la arquitectura de agentes, de las herramientas médicas que pueden invocar los agentes y del trabajo de ingeniería en la plataforma subyacente, no de datos de entrenamiento.
¿Cómo se puede reproducir el resultado?
Hemos publicado las transcripciones del evaluador por muestra y el marco de evaluación en el repositorio Tietai Evals Public. Las definiciones completas del grafo, los prompts y las correcciones del motor están disponibles para otros equipos de investigación bajo petición.
¿Por qué un margen de 3,7 puntos si está dentro del ruido del bootstrap?
El remuestreo bootstrap da una sigma de aproximadamente 0,023, así que una diferencia de 3,7 puntos es coherente en la dirección, pero no estadísticamente concluyente con p < 0,05. OpenAI no publica intervalos de confianza para ChatGPT for Clinicians, lo que hace imposible una prueba de significación formal. Consideramos la ventaja significativa, pero no un resultado definitivo; lo más interesante es la diferencia con la referencia de agente único con GPT-5.4 (+14,6 pp).
¿Qué viene ahora?
Cuatro cosas: conectar MDIA a un sistema de recuperación de guías clínicas seleccionadas (RAG) para cubrir las lagunas de conocimiento que quedan; probar Claude como razonador especialista; construir un arnés automatizado que evite regresiones al iterar los prompts; y una nueva evaluación cruzada entre sistemas si OpenAI publica salidas por muestra de ChatGPT for Clinicians.
