Principales aspectos destacados
- Tres pilares de evaluación: el framework analiza la precisión, la seguridad y la utilidad de las respuestas generadas por inteligencia artificial.
- Humanos y máquinas trabajando juntos: Google combina benchmarks, evaluadores automáticos y especialistas médicos para identificar fallos.
- El monitoreo no termina con el lanzamiento: la compañía defiende las pruebas continuas para detectar problemas que aparecen cuando los sistemas comienzan a utilizarse.
Google quiere demostrar que una inteligencia artificial capaz de responder preguntas sobre salud necesita superar mucho más que un examen de conocimientos médicos.
La compañía publicó un whitepaper en el que detalla su framework para evaluar modelos generativos de uso general aplicados a la salud. La propuesta combina pruebas automatizadas, inteligencia artificial evaluadora y revisión de especialistas humanos para identificar respuestas incorrectas, situaciones potencialmente peligrosas y dificultades que pueden comprometer el uso práctico de estas herramientas.
El documento fue elaborado por la Dra. Sarah Montgomery-Taylor, responsable de evaluación clínica de Google for Health, con la colaboración de las especialistas en calidad de la atención médica Dra. Elizabeth McGlynn y Dra. Dana Gelb Safran.
La iniciativa también tiene un objetivo estratégico: aumentar la transparencia sobre cómo se evalúan los grandes modelos de IA antes y después de llegar a los usuarios.
Una respuesta correcta no siempre es una respuesta segura 🩺
Uno de los puntos centrales del framework es reconocer que la precisión, la seguridad y la utilidad son características diferentes.
Una IA puede proporcionar información técnicamente correcta, pero presentar la respuesta de una manera que lleve a alguien a tomar una decisión inadecuada. También puede ser segura y precisa, pero tan complicada que no ayude al usuario a resolver su problema.
Google comienza por el comportamiento de las personas:
En lugar de evaluar únicamente tareas aisladas, como identificar signos de cáncer de pulmón en una tomografía, los investigadores proponen analizar lo que denominan el Recorrido Crítico del Usuario.
La metodología considera tres preguntas fundamentales:
- ¿Quién está utilizando la herramienta: un paciente, un profesional sanitario o un administrador?
- ¿Qué pretende hacer esa persona con la IA?
- ¿Cómo podría utilizarse incorrectamente la herramienta?
A partir de estas respuestas, los evaluadores identifican riesgos específicos de cada aplicación.
🔎 Dos ejemplos ayudan a entender la diferencia:
En un verificador de síntomas, el principal riesgo puede ser no reconocer señales de alerta que requieren atención médica urgente.
En cambio, en un resumen de alta hospitalaria generado por IA, un fallo aparentemente pequeño puede tener consecuencias importantes, como omitir una alergia o recomendar un medicamento que no debería administrarse.
Esto significa que evaluar una IA médica exige comprender no solo el contenido de sus respuestas, sino también lo que puede ocurrir cuando alguien decide confiar en ellas.
Tres niveles para encontrar los problemas 🔬
El framework combina diferentes métodos de evaluación porque ninguno de ellos consigue identificar por sí solo todos los tipos de fallos.
1️⃣ Benchmarks de preguntas cerradas
Son pruebas estandarizadas utilizadas para verificar los conocimientos básicos de los modelos.
Su ventaja es el bajo costo y la posibilidad de comparar resultados a gran escala. El problema es que estas pruebas pueden perder valor cuando las preguntas terminan apareciendo en los datos utilizados para entrenar los propios modelos.
2️⃣ Autoraters: una IA evaluando a otra IA
Los llamados autoraters son sistemas automatizados que analizan respuestas abiertas a partir de criterios previamente definidos por especialistas.
Permiten evaluar un volumen mucho mayor de conversaciones del que sería posible revisar únicamente con evaluadores humanos.
Pero existe una cuestión importante: estos evaluadores también pueden cometer errores.
Entre los riesgos identificados se encuentran la tendencia a premiar respuestas más largas, incluso cuando no son necesariamente mejores, y la posibilidad de favorecer modelos pertenecientes a la misma familia tecnológica.
Por eso, los resultados deben compararse con evaluaciones de referencia realizadas por especialistas.
3️⃣ Revisión humana y pruebas de seguridad
Los profesionales sanitarios intervienen principalmente en los casos complejos y en las situaciones límite, donde una interpretación equivocada puede representar riesgos mayores.
Los equipos de red teaming también participan en el proceso. Intentan encontrar vulnerabilidades simulando diferentes situaciones, incluso haciéndose pasar por profesionales sanitarios para poner a prueba los límites de los sistemas.
⚠️ Un dato llama la atención: según los autores, las evaluaciones realizadas por dos médicos pueden presentar discrepancias del 30 % al 40 % o incluso superiores.
Esto demuestra que ni siquiera la revisión humana constituye una referencia absolutamente uniforme. Por esa razón, Google defiende la combinación de diferentes métodos de evaluación.
Las pruebas deben continuar después del lanzamiento 🚨
Otro aspecto importante del documento es la defensa de un monitoreo permanente.
Una IA puede obtener buenos resultados durante las pruebas y, aun así, comenzar a mostrar problemas cuando se enfrenta a situaciones reales, usuarios diferentes y contextos que no estaban previstos inicialmente.
El framework presenta algunas estrategias para supervisar este comportamiento:
- Shadow mode: pruebas silenciosas en las que el sistema se evalúa sin intervenir directamente en la atención médica.
- Pruebas piloto clínicas: utilización controlada para observar el rendimiento en situaciones reales.
- Implementación gradual: expansión progresiva del uso, que permite identificar problemas antes de una adopción más amplia.
- Monitoreo continuo: verificaciones para detectar cambios en el rendimiento, conocidos como drift.
💡 El cambio de perspectiva es importante: esperar a que los usuarios se quejen de una respuesta inadecuada no es suficiente para garantizar la seguridad de una herramienta de IA aplicada a la salud.
Los investigadores también defienden que los criterios mínimos de aprobación sean proporcionales al riesgo clínico de cada aplicación.
Un asistente que explica conceptos generales de salud no debería necesariamente cumplir los mismos umbrales de aprobación que una herramienta que ayuda a identificar situaciones médicas urgentes.
Google también desarrolla una herramienta para evaluar información sanitaria
El whitepaper no es una iniciativa aislada.
Investigadores de Google, incluida Montgomery-Taylor, también desarrollaron una herramienta llamada Health Information Quality, destinada a evaluar la calidad de la información médica generada por inteligencia artificial.
El proyecto contó con las aportaciones de un panel de 23 especialistas.
La herramienta considera precisamente los tres pilares presentados en el framework:
| Criterio | Qué evalúa |
|---|---|
| Precisión | Si la información presentada es correcta |
| Seguridad | Si la respuesta evita riesgos y recomendaciones potencialmente perjudiciales |
| Utilidad | Si el contenido realmente ayuda al usuario |
La propuesta consiste en ofrecer criterios más estructurados para analizar respuestas de IA sobre salud, un ámbito en el que la información aparentemente fiable puede influir en decisiones importantes.
Todavía queda una pregunta sin respuesta: ¿quién será responsable? ⚖️
A pesar de los avances metodológicos, los propios autores reconocen que todavía existen desafíos de gobernanza.
Entre las cuestiones pendientes se encuentran la distribución de responsabilidades entre los desarrolladores de IA y los sistemas sanitarios, los costos de implementación de estas evaluaciones y la necesidad de mecanismos independientes para verificar los resultados presentados por las empresas.
Este último punto merece especial atención.
Cuando una compañía desarrolla sus propios modelos, también crea los mecanismos utilizados para evaluar la calidad de esos sistemas. Incluso con metodologías transparentes, la validación independiente sigue siendo importante para aumentar la confianza en los resultados.
El movimiento de Google apunta hacia un cambio necesario en el desarrollo de inteligencia artificial aplicada a la salud. No basta con demostrar que un modelo puede responder correctamente a miles de preguntas. Es necesario descubrir cuándo puede equivocarse, cómo ese error puede afectar a alguien y si existen mecanismos capaces de identificar el problema antes de que provoque consecuencias.
Al fin y al cabo, en un chatbot convencional, una mala respuesta puede causar frustración. En una herramienta sanitaria, el mismo fallo puede tener consecuencias muy diferentes.
