Los científicos investigan para comprender la inteligencia artificial

Este enfoque ayuda a los usuarios a comprender el funcionamiento interno de las "cajas negras" de los algoritmos de IA, especialmente en el uso médico y en el contexto de la próxima Ley Europea sobre Inteligencia Artificial.

Un equipo de investigadores de la Universidad de Ginebra (UNIGE), los Hospitales Universitarios de Ginebra (HUG) y la Universidad Nacional de Singapur (NUS) han desarrollado un nuevo enfoque para evaluar la comprensión de las tecnologías de inteligencia artificial.

Este avance permite una mayor transparencia y credibilidad de las herramientas de diagnóstico y predicción impulsadas por IA. El nuevo método revela el misterioso funcionamiento de las llamadas "cajas negras" de los algoritmos de IA, ayudando a los usuarios a comprender qué influye en los resultados que produce la IA y si se puede confiar en ellos.

Esto es especialmente importante en escenarios que tienen un impacto significativo en la salud y el bienestar humanos, como el uso de la IA en un entorno médico. La investigación tiene especial importancia en el contexto de la próxima Ley de Inteligencia Artificial de la Unión Europea, que busca regular el desarrollo y uso de la IA en la UE.

Los hallazgos fueron publicados recientemente en la revista Nature Machine Intelligence. Las series temporales de datos que representan el desarrollo de la información a lo largo del tiempo están presentes en todas partes: por ejemplo, en medicina, cuando se registra la actividad cardíaca con un electrocardiograma (ECG), cuando se estudian terremotos, se siguen los patrones climáticos o en economía, cuando se monitorean los mercados financieros.

Estos datos se pueden modelar utilizando tecnologías de inteligencia artificial para crear herramientas de diagnóstico o predicción. Los avances en IA y especialmente en el aprendizaje profundo, que implica entrenar una máquina con la ayuda de grandes cantidades de datos para interpretarlos y aprender patrones útiles, están abriendo el camino a herramientas cada vez más precisas de diagnóstico y predicción. Aún así, la falta de conocimiento sobre cómo funcionan los algoritmos de IA y qué influye en sus resultados plantea preguntas importantes sobre la confiabilidad de la tecnología de IA de "caja negra".

"La forma en que funcionan estos algoritmos es, en el mejor de los casos, opaca", afirma el profesor Christian Lovis, director del Departamento de Radiología e Informática Médica de la Facultad de Medicina de UNIGE y jefe del Departamento de Ciencias de la Información Médica del HUG y uno de los autores. del estudio sobre la comprensión de la IA.

"Por supuesto, hay mucho en juego, especialmente en lo financiero. Pero ¿cómo podemos confiar en una máquina sin comprender la base de su razonamiento? Estas preguntas son cruciales, especialmente en sectores como la medicina, donde las decisiones impulsadas por la IA pueden afectar la salud de las personas e incluso sus vidas, y en las finanzas, donde pueden provocar enormes pérdidas de capital”.

Los métodos de comprensión buscan responder a estas preguntas revelando por qué y cómo la IA llegó a una decisión particular y las razones detrás de ella. "Conocer los elementos que inclinaron la balanza a favor o en contra de una solución en una situación determinada, permitiendo al menos cierta transparencia, aumenta nuestra confianza en el rendimiento de las herramientas", dice el profesor asistente Gianmarco Mengaldo, director del MathEXLab de la Facultad de Ciencias Diseño e Ingeniería, Universidad Nacional de Singapur.

“Sin embargo, los métodos de comprensión actuales que se utilizan ampliamente en aplicaciones prácticas y circuitos industriales producen resultados muy diferentes, incluso cuando se aplican a la misma tarea y conjunto de datos. Esto plantea una pregunta importante: ¿Qué método es correcto si se supone que hay una respuesta única y correcta? Por lo tanto, ¿evaluar los métodos de comprensión se está volviendo tan importante como la comprensión misma?

Diferenciar entre información importante e irrelevante

Diferenciar los datos es clave en el desarrollo de tecnologías de inteligencia artificial para comprenderlos completamente. Por ejemplo, cuando la IA analiza imágenes, se centra en algunas características destacadas.

Hugues Turbé, estudiante de doctorado en el laboratorio del profesor Lovis y primer autor del estudio sobre IA, explica: “Por ejemplo, la IA puede distinguir entre una imagen de un perro y una imagen de un gato. El mismo principio se aplica al análisis de secuencias temporales: la máquina debe poder seleccionar los elementos sobre los cuales razonar. En el caso de las señales de electrocardiograma, esto significa coordinar las señales de diferentes electrodos para evaluar posibles fluctuaciones que serían un signo de una determinada enfermedad cardíaca".

Elegir un método de comprensión entre todos los disponibles para un propósito particular no es fácil. Los diferentes métodos de IA suelen ofrecer resultados muy diferentes, incluso cuando se aplican al mismo conjunto de datos y tarea.

Para abordar este desafío, los investigadores desarrollaron dos nuevos métodos de evaluación para ayudar a comprender cómo la IA toma decisiones: uno para identificar las partes más importantes de la señal y el otro para evaluar su importancia relativa para la predicción final.

Para evaluar la comprensión, ocultaron parte de los datos para ver si eran relevantes para la toma de decisiones de la IA. Sin embargo, este enfoque a veces produjo errores en los resultados. Para solucionar este problema, entrenaron la máquina con un conjunto de datos aumentado que incluye datos ocultos, lo que ayudó a mantener el equilibrio y la precisión. Luego, el equipo creó dos formas de medir el rendimiento de los métodos de comprensión, mostrando si la IA estaba usando los datos correctos para tomar decisiones y si todos los datos se consideraron adecuadamente.

"Nuestro método tiene como objetivo evaluar el modelo que utilizaremos realmente en nuestra zona operativa, garantizando así su fiabilidad", explica Hugues Turbé. Para continuar la investigación, el equipo desarrolló un conjunto de datos sintéticos que está disponible para la comunidad científica para evaluar fácilmente cualquier nueva IA diseñada para interpretar secuencias a lo largo del tiempo.

El futuro de la inteligencia artificial en la medicina

El equipo planea probar su método en un entorno clínico, donde el miedo a la IA todavía está muy extendido. "Generar confianza en la evaluación de la IA es un paso fundamental hacia la adopción en entornos clínicos", explica el Dr. Mina Bjelogrlic, quien dirige el equipo de aprendizaje automático en la división Lovis y es coautora de este estudio. “Nuestra investigación se centra en evaluar la IA en función de secuencias temporales, pero la misma metodología podría aplicarse a la IA basada en otro tipo de datos, como imágenes o datos de texto. El objetivo es garantizar la transparencia, la comprensibilidad y la fiabilidad de la IA para los usuarios”.

Comprender el funcionamiento interno de la IA es clave para generar confianza en su uso, especialmente en sectores críticos como la medicina y las finanzas. La investigación, realizada por un equipo de investigadores de la Universidad de Ginebra y la Universidad Nacional de Singapur, ofrece un método innovador para evaluar la comprensión de la inteligencia artificial que ayuda a los usuarios a comprender por qué y cómo se toman las decisiones. Este enfoque es particularmente importante para aplicaciones médicas, donde las decisiones tomadas por inteligencia artificial pueden poner en peligro la vida.