Los científicos investigan para comprender la inteligencia artificial

Este enfoque ayuda a los usuarios a comprender el funcionamiento interno de las “cajas negras” de los algoritmos de IA, especialmente en aplicaciones médicas y en el contexto de la próxima Ley Europea de Inteligencia Artificial.

Un equipo de investigadores de la Universidad de Ginebra (UNIGE), los Hospitales Universitarios de Ginebra (HUG) y la Universidad Nacional de Singapur (NUS) han desarrollado un nuevo enfoque para evaluar la comprensión de las tecnologías de inteligencia artificial.

Este avance permite una mayor transparencia y credibilidad para las herramientas de diagnóstico y predicción basadas en IA. El nuevo método revela el misterioso funcionamiento de las llamadas "cajas negras" de los algoritmos de IA, ayudando a los usuarios a comprender qué influye en los resultados que produce la IA y si son fiables.

Esto es especialmente importante en escenarios que tienen un impacto significativo en la salud y el bienestar humanos, como el uso de la IA en un entorno médico. La investigación tiene especial importancia en el contexto de la próxima Ley de Inteligencia Artificial de la Unión Europea, que busca regular el desarrollo y uso de la IA en la UE.

Los hallazgos fueron publicados recientemente publicado en la revista Nature Machine IntelligenceLas series temporales de datos, que representan la evolución de la información a lo largo del tiempo, están presentes en todas partes: por ejemplo, en medicina, al registrar la actividad cardíaca con un electrocardiograma (ECG), al estudiar terremotos, al rastrear patrones climáticos o en economía para monitorear los mercados financieros.

Estos datos pueden modelarse mediante tecnologías de IA para crear herramientas de diagnóstico o predicción. Los avances en IA, y en particular en el aprendizaje profundo, que implica entrenar a una máquina con grandes cantidades de datos para interpretarlos y aprender patrones útiles, están abriendo camino a herramientas de diagnóstico y predicción cada vez más precisas. Sin embargo, la falta de conocimiento sobre cómo funcionan los algoritmos de IA y qué influye en sus resultados plantea importantes interrogantes sobre la fiabilidad de la tecnología de IA de "caja negra".

"El modo en que funcionan estos algoritmos es, en el mejor de los casos, opaco", afirma el profesor Christian Lovis, director del Departamento de Radiología e Informática Médica de la Facultad de Medicina de la UNIGE y jefe del Departamento de Informática Médica del HUG, y uno de los autores del estudio sobre la comprensión de la IA.

"Por supuesto, hay mucho en juego, especialmente en lo financiero. Pero ¿cómo podemos confiar en una máquina sin comprender la base de su razonamiento? Estas preguntas son cruciales, especialmente en sectores como la medicina, donde las decisiones impulsadas por la IA pueden afectar la salud de las personas e incluso sus vidas, y en las finanzas, donde pueden provocar enormes pérdidas de capital”.

Los métodos de comprensión buscan responder a estas preguntas revelando por qué y cómo la IA tomó una decisión específica y las razones que la sustentan. «Conocer los factores que inclinaron la balanza a favor o en contra de una solución en una situación dada, permitiendo al menos cierta transparencia, aumenta nuestra confianza en el rendimiento de las herramientas», afirma el profesor adjunto Gianmarco Mengaldo, director del MathEXLab de la Facultad de Diseño e Ingeniería de la Universidad Nacional de Singapur.

“Sin embargo, los métodos de comprensión actuales que se utilizan ampliamente en aplicaciones prácticas y circuitos industriales producen resultados muy diferentes, incluso cuando se aplican a la misma tarea y conjunto de datos. Esto plantea una pregunta importante: ¿Qué método es correcto si se supone que hay una respuesta única y correcta? Por lo tanto, ¿evaluar los métodos de comprensión se está volviendo tan importante como la comprensión misma?

Diferenciar entre información importante e irrelevante

Diferenciar los datos es clave en el desarrollo de tecnologías de inteligencia artificial para comprenderlos completamente. Por ejemplo, cuando la IA analiza imágenes, se centra en algunas características destacadas.

Hugues Turbé, estudiante de doctorado en el laboratorio del profesor Lovis y primer autor del estudio sobre IA, explica: “Por ejemplo, la IA puede distinguir entre una imagen de un perro y una imagen de un gato. El mismo principio se aplica al análisis de secuencias temporales: la máquina debe poder seleccionar los elementos sobre los cuales razonar. En el caso de las señales de electrocardiograma, esto significa coordinar las señales de diferentes electrodos para evaluar posibles fluctuaciones que serían un signo de una determinada enfermedad cardíaca".

Elegir un método de comprensión entre todos los disponibles para un propósito particular no es fácil. Los diferentes métodos de IA suelen ofrecer resultados muy diferentes, incluso cuando se aplican al mismo conjunto de datos y tarea.

Para abordar este desafío, los investigadores desarrollaron dos nuevos métodos de evaluación para ayudar a comprender cómo la IA toma decisiones: uno para identificar las partes más importantes de la señal y el otro para evaluar su importancia relativa para la predicción final.

Para evaluar la comprensión, ocultaron parte de los datos para ver si eran relevantes para la toma de decisiones de la IA. Sin embargo, este enfoque a veces produjo errores en los resultados. Para solucionar este problema, entrenaron la máquina con un conjunto de datos aumentado que incluye datos ocultos, lo que ayudó a mantener el equilibrio y la precisión. Luego, el equipo creó dos formas de medir el rendimiento de los métodos de comprensión, mostrando si la IA estaba usando los datos correctos para tomar decisiones y si todos los datos se consideraron adecuadamente.

"Nuestro método tiene como objetivo evaluar el modelo que utilizaremos realmente en nuestra zona operativa, garantizando así su fiabilidad", explica Hugues Turbé. Para continuar la investigación, el equipo desarrolló un conjunto de datos sintéticos que está disponible para la comunidad científica para evaluar fácilmente cualquier nueva IA diseñada para interpretar secuencias a lo largo del tiempo.

El futuro de la inteligencia artificial en la medicina

El equipo planea probar su método en un entorno clínico, donde el miedo a la IA todavía está muy extendido. "Generar confianza en la evaluación de la IA es un paso fundamental hacia la adopción en entornos clínicos", explica el Dr. Mina Bjelogrlic, quien dirige el equipo de aprendizaje automático en la división Lovis y es coautora de este estudio. “Nuestra investigación se centra en evaluar la IA en función de secuencias temporales, pero la misma metodología podría aplicarse a la IA basada en otro tipo de datos, como imágenes o datos de texto. El objetivo es garantizar la transparencia, la comprensibilidad y la fiabilidad de la IA para los usuarios”.

Comprender el funcionamiento interno de la IA es clave para generar confianza en su uso, especialmente en sectores críticos como la medicina y las finanzas. La investigación, realizada por un equipo de investigadores de la Universidad de Ginebra y la Universidad Nacional de Singapur, ofrece un método innovador para evaluar la comprensión de la inteligencia artificial que ayuda a los usuarios a comprender por qué y cómo se toman las decisiones. Este enfoque es particularmente importante para aplicaciones médicas, donde las decisiones tomadas por inteligencia artificial pueden poner en peligro la vida.