Novi model Nemotron 3.5 Bolt prinaša umetno inteligenco na osebne računalnike

Nvidia širi nabor svojih modelov z odprtimi utežmi in razvijalcem omogoča izbiro ustrezne velikosti glede na razpoložljivo strojno opremo. Največji model Nemotron 3.5 Super VL vsebuje kar 120 milijard parametrov in je namenjen predvsem specializiranim agentom za zahtevnejša opravila. Modela iz družine Bolt pa sta zasnovana za lokalno izvajanje na sistemih s 24 GB oziroma zgolj 4 GB pomnilnika.

Različica Nemotron 3.5 Bolt 74B-A9B je namenjena uporabnikom, ki želijo na svojem računalniku samostojno izvajati naloge, kot so spletno raziskovanje, pisanje programske kode in preverjanje delovanja aplikacij. Sistem deluje povsem lokalno, brez pošiljanja podatkov v oblak, pri čemer podpira priljubljena orodja, kot so Ollama, LM Studio in vLLM. Z uporabo 2-bitne kvantizacije je Nvidii uspelo porabo pomnilnika zmanjšati pod mejo 24 GB, s čimer ostane dovolj prostora tudi za druge aplikacije. Manjši model Bolt E4B, ki potrebuje le 4 GB pomnilnika, je namenjen predvsem pogovornim pomočnikom in interaktivnim orodjem na napravah serij GeForce RTX, Jetson in RTX Spark.

Zmogljivejši Nemotron 3.5 Super VL je osredotočen na obdelavo dokumentov in večpredstavnostnih vsebin. Analizira lahko spletne strani, datoteke PDF, grafikone in tabele, proizvajalec pa ob tem izpostavlja visoke hitrosti obdelave podatkov. Podjetjem je omogočeno tudi dodatno prilagajanje modela in učenje na lastni infrastrukturi za uporabo pri finančnih, varnostnih in drugih specializiranih analizah.

Večja modela sta že na voljo, medtem ko bo manjša različica z zahtevami po 4 GB pomnilnika izšla 23. oktobra.