Les scientifiques étudient pour comprendre l’intelligence artificielle

Cette approche aide les utilisateurs à comprendre le fonctionnement interne des « boîtes noires » des algorithmes d’IA, notamment dans les applications médicales et dans le contexte du prochain Acte européen sur l’IA.

Une équipe de chercheurs de l'Université de Genève (UNIGE), des Hôpitaux universitaires de Genève (HUG) et de l'Université nationale de Singapour (NUS) a développé une nouvelle approche pour évaluer la compréhension des technologies d'intelligence artificielle.

Cette percée permet une plus grande transparence et crédibilité des outils de diagnostic et de prédiction basés sur l’IA. La nouvelle méthode révèle le fonctionnement mystérieux des soi-disant « boîtes noires » des algorithmes d’IA, aidant les utilisateurs à comprendre ce qui influence les résultats produits par l’IA et si on peut leur faire confiance.

Ceci est particulièrement important dans les scénarios qui ont un impact significatif sur la santé et le bien-être humains, comme l’utilisation de l’IA dans un contexte médical. La recherche revêt une importance particulière dans le contexte de la prochaine loi de l’Union européenne sur l’intelligence artificielle, qui vise à réglementer le développement et l’utilisation de l’IA dans l’UE.

Les résultats ont été récemment publiés dans la revue Nature Machine Intelligence. Des séries chronologiques de données représentant l'évolution de l'information au fil du temps sont présentes partout : par exemple, en médecine lors de l'enregistrement de l'activité cardiaque avec un électrocardiogramme (ECG), lors de l'étude des tremblements de terre, du suivi des conditions météorologiques ou en économie pour la surveillance des marchés financiers.

Ces données peuvent être modélisées à l’aide de technologies d’IA pour créer des outils de diagnostic ou prédictifs. Les progrès de l’IA et notamment de l’apprentissage profond, qui consiste à entraîner une machine à l’aide de grandes quantités de données afin de l’interpréter et d’apprendre des modèles utiles, ouvrent la voie à des outils de diagnostic et de prédiction de plus en plus précis. Pourtant, le manque de connaissances sur le fonctionnement des algorithmes d’IA et sur ce qui influence leurs résultats soulève d’importantes questions sur la fiabilité de la technologie d’IA « boîte noire ».

"Le fonctionnement de ces algorithmes est pour le moins opaque", explique le professeur Christian Lovis, directeur du département de radiologie et d'informatique médicale à la Faculté de médecine de l'UNIGE et chef du département de science de l'information médicale aux HUG et l'un des auteurs. de l’étude sur la compréhension de l’IA.

"Bien sûr, les enjeux, notamment financiers, sont extrêmement importants. Mais comment faire confiance à une machine sans comprendre les fondements de son raisonnement ? Ces questions sont cruciales, en particulier dans des secteurs comme la médecine, où les décisions fondées sur l'IA peuvent affecter la santé des personnes, voire leur vie, et dans le secteur financier, où elles peuvent entraîner d'énormes pertes en capital.»

Les méthodes de compréhension cherchent à répondre à ces questions en révélant pourquoi et comment l’IA a pris une décision particulière et les raisons qui la sous-tendent. "Connaître les éléments qui ont fait pencher la balance en faveur ou contre une solution dans une situation donnée, permettant au moins une certaine transparence, augmente notre confiance dans la performance des outils", déclare le professeur adjoint Gianmarco Mengaldo, directeur du MathEXLab à la Faculté de Conception et ingénierie, Université nationale de Singapour.

« Cependant, les méthodes de compréhension actuelles, largement utilisées dans les applications pratiques et les circuits industriels, produisent des résultats très différents, même lorsqu'elles sont appliquées à la même tâche et au même ensemble de données. Cela soulève une question importante : quelle méthode est correcte s’il est censé y avoir une réponse unique et correcte ? Par conséquent, évaluer les méthodes de compréhension devient tout aussi important que la compréhension elle-même ?

Faire la différence entre les informations importantes et non pertinentes

La différenciation des données est essentielle pour développer des technologies d’IA afin de les comprendre pleinement. Par exemple, lorsque l’IA analyse des images, elle se concentre sur quelques caractéristiques saillantes.

Hugues Turbé, doctorant dans le laboratoire du professeur Lovis et premier auteur de l'étude sur l'IA, explique : « Par exemple, l'IA peut faire la distinction entre une image de chien et une image de chat. Le même principe s’applique à l’analyse des séquences temporelles : la machine doit être capable de sélectionner les éléments sur lesquels raisonner. Dans le cas des signaux ECG, cela signifie coordonner les signaux provenant de différentes électrodes pour évaluer d’éventuelles fluctuations qui seraient le signe d’une certaine maladie cardiaque. »

Choisir une méthode de compréhension parmi toutes celles disponibles dans un but particulier n’est pas chose aisée. Différentes méthodes d’IA donnent souvent des résultats très différents, même lorsqu’elles sont appliquées au même ensemble de données et à la même tâche.

Pour relever ce défi, les chercheurs ont développé deux nouvelles méthodes d'évaluation pour aider à comprendre comment l'IA prend des décisions : l'une pour identifier les parties les plus importantes du signal et l'autre pour évaluer leur importance relative dans la prédiction finale.

Pour évaluer la compréhension, ils ont caché une partie des données pour voir si elles étaient pertinentes pour la prise de décision de l’IA. Cependant, cette approche a parfois produit des erreurs dans les résultats. Pour résoudre ce problème, ils ont entraîné la machine sur un ensemble de données augmenté comprenant des données cachées, ce qui a permis de maintenir l’équilibre et la précision. L’équipe a ensuite créé deux façons de mesurer les performances des méthodes de compréhension, montrant si l’IA utilisait les bonnes données pour prendre des décisions et si toutes les données étaient correctement prises en compte.

« Notre méthode vise à évaluer le modèle que nous utiliserons réellement dans notre zone opérationnelle, garantissant ainsi sa fiabilité », explique Hugues Turbé. Pour poursuivre la recherche, l’équipe a développé un ensemble de données synthétiques mis à la disposition de la communauté scientifique pour évaluer facilement toute nouvelle IA conçue pour interpréter des séquences au fil du temps.

L'avenir de l'intelligence artificielle en médecine

L’équipe prévoit de tester leur méthode en milieu clinique, où la peur de l’IA est encore répandue. "Instaurer la confiance dans l'évaluation de l'IA est une étape cruciale vers son adoption en milieu clinique", explique le Dr. Mina Bjelogrlic, qui dirige l'équipe d'apprentissage automatique de la division Lovis et est co-auteur de cette étude. « Nos recherches se concentrent sur l’évaluation de l’IA basée sur des séquences temporelles, mais la même méthodologie pourrait être appliquée à l’IA basée sur d’autres types de données, telles que des données d’image ou de texte. L’objectif est d’assurer la transparence, la compréhensibilité et la fiabilité de l’IA pour les utilisateurs.

Comprendre le fonctionnement interne de l’IA est essentiel pour renforcer la confiance dans son utilisation, en particulier dans des secteurs critiques tels que la médecine et la finance. La recherche, menée par une équipe de chercheurs de l’Université de Genève et de l’Université nationale de Singapour, propose une méthode innovante d’évaluation de la compréhension de l’intelligence artificielle qui aide les utilisateurs à comprendre pourquoi et comment les décisions sont prises. Cette approche est particulièrement importante pour les applications médicales, où les décisions prises par l’intelligence artificielle peuvent mettre la vie en danger.