Los científicos investigan para comprender la inteligencia artificial

Ta pristop pomaga uporabnikom razumeti notranje delovanje “črnih škatel” algoritmov umetne inteligence, zlasti v medicinski rabi in v kontekstu prihajajočega evropskega Akta o umetni inteligenci.

Un equipo de investigadores de la Universidad de Ginebra (UNIGE), los Hospitales Universitarios de Ginebra (HUG) y la Universidad Nacional de Singapur (NUS) han desarrollado un nuevo enfoque para evaluar la comprensión de las tecnologías de inteligencia artificial.

Ta preboj omogoča večjo preglednost in verodostojnost diagnostičnih in napovednih orodij, ki jih poganja AI. Nova metoda razkriva skrivnostno delovanje tako imenovanih “črnih škatel” algoritmov AI, kar uporabnikom pomaga razumeti, kaj vpliva na rezultate, ki jih AI ustvarja, in ali jim je mogoče zaupati.

Esto es especialmente importante en escenarios que tienen un impacto significativo en la salud y el bienestar humanos, como el uso de la IA en un entorno médico. La investigación tiene especial importancia en el contexto de la próxima Ley de Inteligencia Artificial de la Unión Europea, que busca regular el desarrollo y uso de la IA en la UE.

Ugotovitve so bile nedavno objavljene v reviji Nature Machine Intelligence. Časovne vrste podatkov, ki predstavljajo razvoj informacij skozi čas, so prisotne povsod: na primer v medicini pri beleženju srčne dejavnosti z elektrokardiogramom (EKG), pri proučevanju potresov, sledenju vremenskim vzorcem ali v gospodarstvu za spremljanje finančnih trgov.

Te podatke je mogoče modelirati z uporabo tehnologij AI za izgradnjo diagnostičnih ali napovednih orodij. Napredek AI in predvsem globokega učenja, ki vključuje usposabljanje stroja s pomočjo velikih količin podatkov z namenom njihove interpretacije in učenja uporabnih vzorcev, odpira pot k vse bolj natančnim orodjem za diagnozo in napoved. Kljub temu pa pomanjkanje vpogleda v to, kako delujejo algoritmi AI in kaj vpliva na njihove rezultate, postavlja pomembna vprašanja o zanesljivosti tehnologije “črne škatle” AI.

»Način delovanja teh algoritmov je v najboljšem primeru netransparenten,” pravi profesor Christian Lovis, direktor oddelka za radiologijo in medicinsko informatiko na Medicinski fakulteti UNIGE ter vodja oddelka za medicinsko informacijsko znanost na HUG in eden izmed avtorjev študije o razumevanju AI.

"Por supuesto, hay mucho en juego, especialmente en lo financiero. Pero ¿cómo podemos confiar en una máquina sin comprender la base de su razonamiento? Estas preguntas son cruciales, especialmente en sectores como la medicina, donde las decisiones impulsadas por la IA pueden afectar la salud de las personas e incluso sus vidas, y en las finanzas, donde pueden provocar enormes pérdidas de capital”.

Metode razumevanja si prizadevajo odgovoriti na ta vprašanja z razkrivanjem, zakaj in kako je AI prišla do določene odločitve ter razlogov za to. »Poznavanje elementov, ki so prevesili tehtnico v prid ali proti rešitvi v določeni situaciji, kar omogoča vsaj nekaj preglednosti, povečuje naše zaupanje v delovanje orodij,” pravi docent Gianmarco Mengaldo, direktor laboratorija MathEXLab na Fakulteti za oblikovanje in inženiring Nacionalne univerze v Singapurju.

“Sin embargo, los métodos de comprensión actuales que se utilizan ampliamente en aplicaciones prácticas y circuitos industriales producen resultados muy diferentes, incluso cuando se aplican a la misma tarea y conjunto de datos. Esto plantea una pregunta importante: ¿Qué método es correcto si se supone que hay una respuesta única y correcta? Por lo tanto, ¿evaluar los métodos de comprensión se está volviendo tan importante como la comprensión misma?

Diferenciar entre información importante e irrelevante

Diferenciar los datos es clave en el desarrollo de tecnologías de inteligencia artificial para comprenderlos completamente. Por ejemplo, cuando la IA analiza imágenes, se centra en algunas características destacadas.

Hugues Turbé, estudiante de doctorado en el laboratorio del profesor Lovis y primer autor del estudio sobre IA, explica: “Por ejemplo, la IA puede distinguir entre una imagen de un perro y una imagen de un gato. El mismo principio se aplica al análisis de secuencias temporales: la máquina debe poder seleccionar los elementos sobre los cuales razonar. En el caso de las señales de electrocardiograma, esto significa coordinar las señales de diferentes electrodos para evaluar posibles fluctuaciones que serían un signo de una determinada enfermedad cardíaca".

Elegir un método de comprensión entre todos los disponibles para un propósito particular no es fácil. Los diferentes métodos de IA suelen ofrecer resultados muy diferentes, incluso cuando se aplican al mismo conjunto de datos y tarea.

Para abordar este desafío, los investigadores desarrollaron dos nuevos métodos de evaluación para ayudar a comprender cómo la IA toma decisiones: uno para identificar las partes más importantes de la señal y el otro para evaluar su importancia relativa para la predicción final.

Para evaluar la comprensión, ocultaron parte de los datos para ver si eran relevantes para la toma de decisiones de la IA. Sin embargo, este enfoque a veces produjo errores en los resultados. Para solucionar este problema, entrenaron la máquina con un conjunto de datos aumentado que incluye datos ocultos, lo que ayudó a mantener el equilibrio y la precisión. Luego, el equipo creó dos formas de medir el rendimiento de los métodos de comprensión, mostrando si la IA estaba usando los datos correctos para tomar decisiones y si todos los datos se consideraron adecuadamente.

"Nuestro método tiene como objetivo evaluar el modelo que utilizaremos realmente en nuestra zona operativa, garantizando así su fiabilidad", explica Hugues Turbé. Para continuar la investigación, el equipo desarrolló un conjunto de datos sintéticos que está disponible para la comunidad científica para evaluar fácilmente cualquier nueva IA diseñada para interpretar secuencias a lo largo del tiempo.

El futuro de la inteligencia artificial en la medicina

El equipo planea probar su método en un entorno clínico, donde el miedo a la IA todavía está muy extendido. "Generar confianza en la evaluación de la IA es un paso fundamental hacia la adopción en entornos clínicos", explica el Dr. Mina Bjelogrlic, quien dirige el equipo de aprendizaje automático en la división Lovis y es coautora de este estudio. “Nuestra investigación se centra en evaluar la IA en función de secuencias temporales, pero la misma metodología podría aplicarse a la IA basada en otro tipo de datos, como imágenes o datos de texto. El objetivo es garantizar la transparencia, la comprensibilidad y la fiabilidad de la IA para los usuarios”.

Comprender el funcionamiento interno de la IA es clave para generar confianza en su uso, especialmente en sectores críticos como la medicina y las finanzas. La investigación, realizada por un equipo de investigadores de la Universidad de Ginebra y la Universidad Nacional de Singapur, ofrece un método innovador para evaluar la comprensión de la inteligencia artificial que ayuda a los usuarios a comprender por qué y cómo se toman las decisiones. Este enfoque es particularmente importante para aplicaciones médicas, donde las decisiones tomadas por inteligencia artificial pueden poner en peligro la vida.