什么是NPU芯片？

如果您最近几个月一直在关注计算领域的发展，您可能会越来越频繁地遇到 NPU 这个术语，尤其是在人工智能存在的任务中。

NPU到底是什么？它的作用是什么？我们真的需要它吗？对于许多人来说，了解计算机、平板电脑或手机中的处理器和显卡就足够了。即使是我们这些测试此类设备的人到目前为止也没有过多关注 NPU 芯片。但时代在变。 NPU 正在或将变得与处理器（CPU）和显卡（GPU）一样重要。

什么是NPU？

NPU（即神经处理单元）是大型片上系统 (SoC) 中的专用处理器或处理单元，专门用于加速神经网络和人工智能任务的性能。与通用CPU和GPU不同，NPU针对数据驱动的并行计算进行了优化，因此它们在处理视频和图像等大规模多媒体数据以及处理神经网络数据方面非常高效。他们特别擅长与人工智能相关的任务，例如语音识别、视频通话中的背景模糊，以及照片或视频编辑程序（例如对象检测、擦除、添加元素等）。

NPU 是集成电路，但它们与单功能 ASIC（专用集成电路）有很大不同。虽然 ASIC 是为单一目的而设计的，例如挖掘特定的加密货币，但 NPU 芯片提供了更高的复杂性和灵活性，可以满足网络计算的多样化要求。他们通过针对神经网络计算的独特要求量身定制的软件或硬件专门编程来实现这一目标。

在大多数消费产品中，NPU 实际上会集成到主处理器中，如英特尔酷睿和酷睿 Ultra 系列或新的 AMD Ryzen 8040 笔记本电脑处理器。但是，在更大的数据中心或更专业的工业操作中，NPU 可能会集成到主处理器中。主板上完全独立的处理器，与所有其他处理单元分开。在手机上，NPU 芯片通常集成在片上系统上，我们还可以在其中找到处理器和图形核心。

每个制造商对 NPU 芯片的命名都略有不同。苹果称之为神经引擎，高通选择了Hexagon，谷歌选择了张量处理单元（TPU），而华为则选择了达芬奇架构。有趣的是，华为是最早将 NPU 集成到 Mate 10 智能手机中的公司之一。

为什么手机和电脑都需要 NPU？

当三星今年早些时候推出 Galaxy AI 概念时，这可能是人们第一次谈论 NPU 芯片。为什么？如果您设法测试他们的人工智能功能，您可能会注意到有些功能在本地工作，有些需要连接到远程服务器。如果我们希望功能在本地运行，即直接在我们的设备上运行，我们需要 NPU，特别是如果我们希望任务完美运行的话。

当今的大部分人工智能处理都是在云端完成的，但由于多种原因，这并不理想。首先是延迟和网络要求。离线时您可能无法访问这些工具，或者在流量高峰期间您可能需要等待较长的处理时间。通过互联网发送数据的安全性也较低，这在使用可以访问您的个人数据的人工智能（例如微软现在臭名昭著的 Recall）时是一个非常重要的因素。

如果可能的话，本地操作更好。然而，人工智能功能并非易事，它们需要相当多的能量。如果您是在 AI 热潮开始时在 PC 上安装了 Stable Diffusion 的少数人之一，那么您知道需要什么样的硬件才能获得相对可靠的结果。没有人愿意等待太久，虽然 CPU 和显卡本身可以做很多事情，但从现在开始还不够。

解决方案是 NPU 芯片，它可以显着加快此类任务的速度。它们的性能通常以每秒数万亿次操作 (TOPS) 为单位，但这并不是一个非常有用的指标，因为它不能准确告诉您每个操作正在做什么。相反，通常最好寻找能够说明大型语言模型的标记需要多快处理、它使用多少功率、它有多准确、它可以读取或写入多少数据等等的数据。

NPU 和 GPU。有什么区别？

尽管许多人工智能和机器学习工作负载在 GPU 上运行，但 GPU 和 NPU 之间存在重要区别。

尽管 GPU 以其并行计算能力而闻名，但并非所有 GPU 都能够处理除图形之外的大量其他任务，因为它们需要特殊的集成电路来有效处理机器学习工作负载。最流行的 Nvidia GPU 以 Tensor 核心的形式拥有这些电路，但 AMD 和英特尔也将它们内置到自己的 GPU 中，主要用于处理高档运算，这是最常见的人工智能任务之一。

有了NPU芯片，我们可以简单地将这些电路从GPU中分离出来，让其全力执行其主要任务，并将分离的电路集成到一个独立的专用单元中。这使得人工智能相关任务能够以更低的功耗更有效地处理，这也是它们成为笔记本电脑和手机中不可或缺的组件的原因。对于那些最苛刻的任务，他们仍然至少需要图形处理器的帮助。