Google Gemini comete error médico por confundir una palabra clave

Google Gemini comete error médico por confundir una palabra clave. Un reciente fallo de la IA de Google en el ámbito clínico ha encendido las alarmas sobre los riesgos de depender de modelos generativos para temas de salud crítica.

El fallo que reveló una debilidad crítica

Investigadores descubrieron que Gemini, el modelo de lenguaje de Google especializado en medicina, cometió un error tras malinterpretar una palabra crucial en un paper médico. El sistema confundió «basilar artery» (arteria basilar) con «basilar ganglia» (un término inexistente) —una mezcla entre «basal ganglia» y «basilar artery»— generando así una alucinación médica con posibles consecuencias graves si se aplicara en contextos clínicos reales.

Este tipo de error es conocido como hallucination, y se refiere a situaciones donde un modelo de IA genera contenido ficticio con tono confiado, dando apariencia de veracidad a algo incorrecto.

¿Qué ocurrió exactamente con Google Gemini ?

El caso se documentó cuando un artículo académico mal escrito contenía ese error tipográfico, y Gemini reprodujo y amplificó el término equivocado sin cuestionarlo. Aunque el fallo se detectó gracias a revisiones manuales, plantea un problema serio: los modelos de IA como Med-Gemini pueden ser vulnerables a errores introducidos por terceros si no se filtran adecuadamente las fuentes de entrenamiento.

Google Gemini una IA entrenada con papers de baja calidad

Según The Verge, parte del problema radica en que algunos papers utilizados en el entrenamiento de Gemini contenían errores gramaticales o médicos. El modelo fue alimentado con datos médicos no verificados o de baja calidad, una práctica que ya ha sido criticada por expertos en IA biomédica.

Aunque Google ha afirmado que Med-Gemini no se utiliza de forma directa en hospitales o para decisiones clínicas reales, el incidente reabre el debate sobre hasta qué punto se puede confiar en IA generativa en áreas sensibles como la salud.

Conclusión

Este error de Gemini evidencia que, aunque las IAs médicas han avanzado de forma notable, siguen siendo herramientas susceptibles de alucinaciones graves si no se controlan rigurosamente las fuentes de información. La confianza en estas herramientas debe estar siempre acompañada de un juicio humano crítico y protocolos de verificación científica.

Fuente: Theverge

---