科学家们正在研究理解人工智能

这种方法有助于用户了解人工智能算法“黑匣子”的内部工作原理，特别是在医疗应用和即将出台的欧洲人工智能法案的背景下。

日内瓦大学 (UNIGE)、日内瓦大学医院 (HUG) 和新加坡国立大学 (NUS) 的研究小组开发了一种新方法来评估对人工智能技术的理解。

这一突破提高了人工智能诊断和预测工具的透明度和可信度。一种新方法揭示了人工智能算法所谓“黑匣子”的神秘工作原理，帮助用户了解影响人工智能结果的因素以及它们是否值得信任。

这在对人类健康和福祉产生重大影响的场景中尤其重要，例如在医疗环境中使用人工智能。这项研究在即将出台的《欧盟人工智能法案》背景下具有特殊意义，该法案旨在规范欧盟人工智能的发展和使用。

该研究成果最近发表在《自然机器智能》杂志上。时间序列数据代表信息随时间的演变，它无处不在：例如，在医学领域用心电图 (ECG) 记录心脏活动，在研究地震时跟踪天气模式，在经济学中监测金融市场。

可以使用人工智能技术对这些数据进行建模，以构建诊断或预测工具。人工智能尤其是深度学习的进步，涉及使用大量数据来训练机器以解释数据并学习有用的模式，为越来越准确的诊断和预测工具开辟了道路。然而，由于缺乏对人工智能算法的工作方式以及影响其结果的因素的了解，对“黑箱”人工智能技术的可靠性提出了重要的质疑。

“这些算法的工作方式充其量是不透明的，”日内瓦大学医学院放射学和医学信息学系主任、HUG 医学信息学系主任、AI 理解研究作者之一 Christian Lovis 教授表示。

“当然，风险，特别是财务风险，非常高。但是，如果我们不了解机器的推理基础，我们怎么能信任它呢？这些问题至关重要，特别是在医药领域，人工智能驱动的决策可能会影响人们的健康甚至生命，而在金融领域，人工智能可能导致巨额资本损失。”

理解方法试图通过揭示人工智能为何、如何做出特定决定以及其原因来回答这些问题。新加坡国立大学设计与工程学院 MathEXLab 主任助理教授 Gianmarco Mengaldo 表示：“了解在特定情况下决定解决方案优劣的因素，至少允许一定的透明度，可以增强我们对工具性能的信心。”

“然而，目前在实际应用和工业电路中广泛应用于的理解方法，即使应用于相同的任务和数据集，也会产生非常不同的结果。这就引出了一个重要的问题：如果应该有一个唯一的正确答案，哪种方法是正确的？ “这就是为什么评估理解方法变得与理解本身一样重要的原因吗？”

区分重要和不重要的信息

数据区分是开发完全理解的人工智能技术的关键。例如，当人工智能分析图像时，它会关注一些显著的特征。

洛维斯教授实验室的博士生、这项人工智能研究的第一作者 Hugues Turbé 解释说：“例如，人工智能可以区分狗的图片和猫的图片。同样的原则也适用于时间序列分析：机器必须能够选择作为推理依据的元素。对于心电图信号来说，这意味着协调来自不同电极的信号来评估可能表明特定心脏状况的任何波动。

在所有可用的理解方法中，选择一种用于特定目的的理解方法并不容易。即使应用于相同的数据集和任务，不同的人工智能方法也常常会产生非常不同的结果。

为了应对这一挑战，研究人员开发了两种新的评估方法，有助于理解人工智能如何做出决策：一种是识别信号中最重要的部分，另一种是评估它们相对于最终预测的相对重要性。

为了评估理解程度，他们隐藏了部分数据以检查其是否与人工智能的决策相关。但这种方法有时会导致结果错误。为了解决这个问题，他们在包含隐藏数据的增强数据集上训练机器，这有助于保持平衡性和准确性。随后，团队创建了两种方法来衡量理解方法的性能，这表明人工智能是否使用正确的数据做出决策，以及所有数据是否都得到了适当的考虑。

“我们的方法旨在评估我们在操作领域实际使用的模型，从而确保其可靠性，”Hugues Turbé 解释道。为了进一步研究，该团队开发了一个合成数据集，供科学界轻松评估任何旨在随时间解释序列的新人工智能。

人工智能在医学领域的未来

该团队计划在临床环境中测试他们的方法，因为人们对人工智能的恐惧仍然普遍存在。 “建立对人工智能评估的信任是将其应用于临床的关键一步，”博士解释道。 Mina Bjelogrlic 是 Lovis 部门机器学习团队的负责人，也是这项研究的共同作者。 “我们的研究重点是基于时间序列评估人工智能，但相同的方法也可以应用于基于其他类型数据（例如图像或文本数据）的人工智能。目标是确保人工智能对用户的透明度、可理解性和可靠性。

了解人工智能的内部工作原理是建立对其使用信任的关键，特别是在医药和金融等关键领域。这项研究由日内瓦大学和新加坡国立大学的研究小组进行，提供了一种评估人工智能理解力的创新方法，帮助用户理解决策的原因和方式。这种方法对于医疗应用尤其重要，因为人工智能做出的决策可以挽救生命。