Cos'è un chip NPU?

Cos'è comunque la NPU? Qual è la sua funzione? Ne abbiamo veramente bisogno? Per molti è sufficiente sapere quale processore e scheda grafica si trovano nel computer, nel tablet o nel telefono. Anche quelli di noi che testano questi tipi di dispositivi finora non hanno prestato troppa attenzione ai chip NPU. Ma i tempi stanno cambiando. La NPU è o diventerà importante quanto il processore (CPU) e la scheda grafica (GPU).

Cos'è l'NPU?

Una NPU, o unità di elaborazione neurale, è un processore o un'unità di elaborazione dedicata in un sistema su chip (SoC) più grande, appositamente realizzato per accelerare le prestazioni delle reti neurali e delle attività di intelligenza artificiale. A differenza delle CPU e GPU per uso generico, le NPU sono ottimizzate per il calcolo parallelo basato sui dati, quindi sono molto efficienti nell'elaborazione di dati multimediali su larga scala come video e immagini e nell'elaborazione di dati per le reti neurali. Sono particolarmente abili nelle attività legate all'intelligenza artificiale come il riconoscimento vocale, la sfocatura dello sfondo nelle videochiamate e le procedure di editing di foto o video come il rilevamento di oggetti, la cancellazione, l'aggiunta di elementi e simili.

Le NPU sono circuiti integrati, ma differiscono notevolmente dagli ASIC (circuiti integrati specifici per l'applicazione) a funzione singola. Mentre gli ASIC sono progettati per un unico scopo, come l'estrazione di una criptovaluta specifica, i chip NPU offrono maggiore complessità e flessibilità, soddisfacendo i diversi requisiti del network computing. Raggiungono questo obiettivo attraverso una programmazione specializzata in software o hardware adattata ai requisiti specifici dei calcoli della rete neurale.

Nella maggior parte dei prodotti di consumo, la NPU sarà effettivamente integrata nel processore principale, come nelle serie Intel Core e Core Ultra o nei nuovi processori per laptop AMD Ryzen 8040. Tuttavia, nei data center più grandi o nelle operazioni industriali più specializzate, la NPU potrebbe esserlo un processore completamente separato sulla scheda madre, separato da tutte le altre unità di elaborazione. Sui telefoni, i chip NPU sono solitamente integrati in un system-on-chip, dove troviamo anche core di processore e grafica.

Ogni produttore nomina i propri chip NPU in modo leggermente diverso. Apple li chiama Neural Engine, Qualcomm ha scelto Hexagon, Google, ad esempio, Tensor Processing Unit (TPU) e Huawei Da Vinci Architecture. È interessante notare che Huawei è stata tra le prime ad integrare la NPU nello smartphone Mate 10.

Perché telefoni e computer hanno bisogno di NPU?

Quando Samsung ha presentato il suo concetto Galaxy AI all'inizio di quest'anno, potrebbe essere stata la prima volta che si parlava del chip NPU. Perché? Se sei riuscito a testare le loro funzionalità di intelligenza artificiale, potresti aver notato che alcuni funzionano localmente e altri richiedono una connessione a un server remoto. Se vogliamo che le funzioni vengano eseguite localmente, cioè direttamente sul nostro dispositivo, abbiamo bisogno di una NPU, soprattutto se vogliamo che le attività vengano eseguite senza problemi.

Gran parte dell'elaborazione dell'intelligenza artificiale odierna avviene nel cloud, ma questo non è l'ideale per una serie di motivi. Il primo riguarda la latenza e i requisiti di rete. Potresti non essere in grado di accedere agli strumenti quando sei offline oppure potresti dover attendere lunghi tempi di elaborazione durante i picchi di traffico. Anche l'invio di dati su Internet è meno sicuro, il che è un fattore molto importante quando si utilizza l'intelligenza artificiale che ha accesso ai tuoi dati personali, come l'ormai famigerato Recall di Microsoft.

Ove possibile, è preferibile l'operazione locale. Tuttavia, le funzioni dell’intelligenza artificiale non sono un gioco da ragazzi, richiedono un bel po’ di potenza. Se sei uno dei pochi ad aver installato Stable Diffusion sul tuo PC all'inizio della mania dell'intelligenza artificiale, allora sai di che tipo di hardware hai bisogno per ottenere risultati relativamente solidi. Nessuno vuole aspettare troppo a lungo, e anche se la CPU e la scheda grafica potrebbero fare molto da sole, da ora in poi non saranno sufficienti.

La soluzione sono i chip NPU, che possono accelerare notevolmente tali attività. Le loro prestazioni sono spesso espresse in trilioni di operazioni al secondo (TOPS), ma non è un parametro molto utile perché non dice esattamente cosa sta facendo ciascuna operazione. Invece, spesso è meglio cercare dati che indichino la velocità con cui devono essere elaborati i token per modelli linguistici di grandi dimensioni, quanta energia utilizza, quanto è accurato, quanti dati può leggere o scrivere e così via.

NPU e GPU. Qual è la differenza?

Sebbene molti carichi di lavoro di intelligenza artificiale e machine learning vengano eseguiti su GPU, esiste un'importante differenza tra una GPU e una NPU.

Sebbene le GPU siano note per le loro capacità di calcolo parallelo, non tutte le GPU sono in grado di gestire una serie di altre attività oltre alla grafica, poiché richiedono circuiti integrati speciali per gestire in modo efficiente i carichi di lavoro di apprendimento automatico. Le GPU Nvidia più popolari hanno questi circuiti sotto forma di core Tensor, ma AMD e Intel li hanno integrati anche nelle loro GPU, principalmente per gestire operazioni di alto livello, uno dei compiti più comuni dell'intelligenza artificiale.

Con i chip NPU possiamo semplicemente separare questi circuiti dalla GPU, lasciare che svolga il suo compito principale con tutte le sue forze e integrare i circuiti separati in un'unità dedicata indipendente. Ciò consente di elaborare le attività legate all’intelligenza artificiale in modo più efficiente e con un minore consumo energetico, motivo per cui stanno diventando un componente indispensabile nei laptop e nei telefoni. Per i compiti più impegnativi, avranno comunque bisogno almeno dell'aiuto di un processore grafico.

NPU e CPU. Cosa fa l'uno, cosa fa l'altro?

Una NPU differisce da un'unità di elaborazione centrale (CPU) per il carico di lavoro per cui è progettata. Un tipico processore di un computer o di un telefono ha compiti molto generali e gli si adatta, poiché supporta un'ampia gamma di comandi, diversi modi di memorizzare nella cache e di richiamare funzioni.

Come abbiamo detto prima, i compiti di machine learning e intelligenza artificiale sono diversi e non richiedono la stessa flessibilità. Non solo sono più esigenti, ma spesso operano su formati insoliti, come numeri a 16, 8 o 4 bit. Sebbene i processori possano eseguire attività di base di apprendimento automatico, questo non è il loro compito principale e sono molto più lenti nello svolgerlo.

Sarà la NPU in futuro componente richiesto?

Quasi certamente, a meno che tu non stia fischiando all'intelligenza artificiale.

Ad esempio, se desideri utilizzare Microsoft Copilot Plus, avrai bisogno di un chip NPU con una capacità minima di 40 TOPS. Ad esempio, potrai utilizzare le funzioni AI locali Recall, Cocreator e Live Captions.

Almeno per ora, non ci sono molte app che richiedono un chip NPU come parte dei loro termini di utilizzo. Ciò probabilmente cambierà man mano che gli sviluppatori cercheranno di integrare più funzionalità native, come Adobe, DaVinci Resolve o forse Teams e Zoom.

Sarà necessario prestare attenzione a questo componente anche nel caso dei telefoni. Con i telefoni premium puoi essere sicuro di avere accesso al miglior chip NPU e a tutte le funzionalità AI che il produttore ha da offrire. Nelle classi inferiori, ad esempio dai 500 euro in giù, questo non sarà scontato. Se vuoi giocare con l'intelligenza artificiale, molto probabilmente dovrai cercare nella classe da 1000 euro in su.

Al momento, tuttavia, non hai fretta di acquistare un nuovo computer o telefono. Siamo solo all'inizio e, almeno per ora, non ti è mancato molto.