Les scientifiques étudient pour comprendre l’intelligence artificielle

Ta pristop pomaga uporabnikom razumeti notranje delovanje “črnih škatel” algoritmov umetne inteligence, zlasti v medicinski rabi in v kontekstu prihajajočega evropskega Akta o umetni inteligenci.

Une équipe de chercheurs de l'Université de Genève (UNIGE), des Hôpitaux universitaires de Genève (HUG) et de l'Université nationale de Singapour (NUS) a développé une nouvelle approche pour évaluer la compréhension des technologies d'intelligence artificielle.

Ta preboj omogoča večjo preglednost in verodostojnost diagnostičnih in napovednih orodij, ki jih poganja AI. Nova metoda razkriva skrivnostno delovanje tako imenovanih “črnih škatel” algoritmov AI, kar uporabnikom pomaga razumeti, kaj vpliva na rezultate, ki jih AI ustvarja, in ali jim je mogoče zaupati.

Ceci est particulièrement important dans les scénarios qui ont un impact significatif sur la santé et le bien-être humains, comme l’utilisation de l’IA dans un contexte médical. La recherche revêt une importance particulière dans le contexte de la prochaine loi de l’Union européenne sur l’intelligence artificielle, qui vise à réglementer le développement et l’utilisation de l’IA dans l’UE.

Ugotovitve so bile nedavno objavljene v reviji Nature Machine Intelligence. Časovne vrste podatkov, ki predstavljajo razvoj informacij skozi čas, so prisotne povsod: na primer v medicini pri beleženju srčne dejavnosti z elektrokardiogramom (EKG), pri proučevanju potresov, sledenju vremenskim vzorcem ali v gospodarstvu za spremljanje finančnih trgov.

Te podatke je mogoče modelirati z uporabo tehnologij AI za izgradnjo diagnostičnih ali napovednih orodij. Napredek AI in predvsem globokega učenja, ki vključuje usposabljanje stroja s pomočjo velikih količin podatkov z namenom njihove interpretacije in učenja uporabnih vzorcev, odpira pot k vse bolj natančnim orodjem za diagnozo in napoved. Kljub temu pa pomanjkanje vpogleda v to, kako delujejo algoritmi AI in kaj vpliva na njihove rezultate, postavlja pomembna vprašanja o zanesljivosti tehnologije “črne škatle” AI.

»Način delovanja teh algoritmov je v najboljšem primeru netransparenten,” pravi profesor Christian Lovis, direktor oddelka za radiologijo in medicinsko informatiko na Medicinski fakulteti UNIGE ter vodja oddelka za medicinsko informacijsko znanost na HUG in eden izmed avtorjev študije o razumevanju AI.

"Bien sûr, les enjeux, notamment financiers, sont extrêmement importants. Mais comment faire confiance à une machine sans comprendre les fondements de son raisonnement ? Ces questions sont cruciales, en particulier dans des secteurs comme la médecine, où les décisions fondées sur l'IA peuvent affecter la santé des personnes, voire leur vie, et dans le secteur financier, où elles peuvent entraîner d'énormes pertes en capital.»

Metode razumevanja si prizadevajo odgovoriti na ta vprašanja z razkrivanjem, zakaj in kako je AI prišla do določene odločitve ter razlogov za to. »Poznavanje elementov, ki so prevesili tehtnico v prid ali proti rešitvi v določeni situaciji, kar omogoča vsaj nekaj preglednosti, povečuje naše zaupanje v delovanje orodij,” pravi docent Gianmarco Mengaldo, direktor laboratorija MathEXLab na Fakulteti za oblikovanje in inženiring Nacionalne univerze v Singapurju.

« Cependant, les méthodes de compréhension actuelles, largement utilisées dans les applications pratiques et les circuits industriels, produisent des résultats très différents, même lorsqu'elles sont appliquées à la même tâche et au même ensemble de données. Cela soulève une question importante : quelle méthode est correcte s’il est censé y avoir une réponse unique et correcte ? Par conséquent, évaluer les méthodes de compréhension devient tout aussi important que la compréhension elle-même ?

Faire la différence entre les informations importantes et non pertinentes

La différenciation des données est essentielle pour développer des technologies d’IA afin de les comprendre pleinement. Par exemple, lorsque l’IA analyse des images, elle se concentre sur quelques caractéristiques saillantes.

Hugues Turbé, doctorant dans le laboratoire du professeur Lovis et premier auteur de l'étude sur l'IA, explique : « Par exemple, l'IA peut faire la distinction entre une image de chien et une image de chat. Le même principe s’applique à l’analyse des séquences temporelles : la machine doit être capable de sélectionner les éléments sur lesquels raisonner. Dans le cas des signaux ECG, cela signifie coordonner les signaux provenant de différentes électrodes pour évaluer d’éventuelles fluctuations qui seraient le signe d’une certaine maladie cardiaque. »

Choisir une méthode de compréhension parmi toutes celles disponibles dans un but particulier n’est pas chose aisée. Différentes méthodes d’IA donnent souvent des résultats très différents, même lorsqu’elles sont appliquées au même ensemble de données et à la même tâche.

Pour relever ce défi, les chercheurs ont développé deux nouvelles méthodes d'évaluation pour aider à comprendre comment l'IA prend des décisions : l'une pour identifier les parties les plus importantes du signal et l'autre pour évaluer leur importance relative dans la prédiction finale.

Pour évaluer la compréhension, ils ont caché une partie des données pour voir si elles étaient pertinentes pour la prise de décision de l’IA. Cependant, cette approche a parfois produit des erreurs dans les résultats. Pour résoudre ce problème, ils ont entraîné la machine sur un ensemble de données augmenté comprenant des données cachées, ce qui a permis de maintenir l’équilibre et la précision. L’équipe a ensuite créé deux façons de mesurer les performances des méthodes de compréhension, montrant si l’IA utilisait les bonnes données pour prendre des décisions et si toutes les données étaient correctement prises en compte.

« Notre méthode vise à évaluer le modèle que nous utiliserons réellement dans notre zone opérationnelle, garantissant ainsi sa fiabilité », explique Hugues Turbé. Pour poursuivre la recherche, l’équipe a développé un ensemble de données synthétiques mis à la disposition de la communauté scientifique pour évaluer facilement toute nouvelle IA conçue pour interpréter des séquences au fil du temps.

L'avenir de l'intelligence artificielle en médecine

L’équipe prévoit de tester leur méthode en milieu clinique, où la peur de l’IA est encore répandue. "Instaurer la confiance dans l'évaluation de l'IA est une étape cruciale vers son adoption en milieu clinique", explique le Dr. Mina Bjelogrlic, qui dirige l'équipe d'apprentissage automatique de la division Lovis et est co-auteur de cette étude. « Nos recherches se concentrent sur l’évaluation de l’IA basée sur des séquences temporelles, mais la même méthodologie pourrait être appliquée à l’IA basée sur d’autres types de données, telles que des données d’image ou de texte. L’objectif est d’assurer la transparence, la compréhensibilité et la fiabilité de l’IA pour les utilisateurs.

Comprendre le fonctionnement interne de l’IA est essentiel pour renforcer la confiance dans son utilisation, en particulier dans des secteurs critiques tels que la médecine et la finance. La recherche, menée par une équipe de chercheurs de l’Université de Genève et de l’Université nationale de Singapour, propose une méthode innovante d’évaluation de la compréhension de l’intelligence artificielle qui aide les utilisateurs à comprendre pourquoi et comment les décisions sont prises. Cette approche est particulièrement importante pour les applications médicales, où les décisions prises par l’intelligence artificielle peuvent mettre la vie en danger.