AI programer, ki ga lahko poganjate kar na svojem prenosniku

Startup podjetje Recursive je na platformi Hugging Face pod licenco Apache 2.0 izdalo model Flint. Gre za prikaz, kako lahko napredni sistemi pomagajo pri ustvarjanju novih modelov umetne inteligence. Sistem Eureka Machine je predlagal eksperimente in usmerjal razvoj, vendar zgolj v vlogi raziskovalnega pomočnika pod nadzorom ekipe strokovnjakov.

Glavna prednost lokalnega delovanja je, da programska koda in podatki ostajajo na uporabnikovem računalniku, brez pošiljanja v oblak in brez plačevanja naročnin glede na količino obdelanega besedila. Slabost pa predstavljata potreba po ustrezni strojni opremi in dejstvo, da model zahteva precej podrobnejša navodila kot uveljavljeni plačljivi pomočniki v oblaku.

Flint uporablja arhitekturo »mixture-of-experts« s skupno 40 milijardami parametrov, pri čemer jih za posamezno opravilo aktivira le 2,5 milijarde. V internih preizkusih na prenosniku MacBook Pro s čipom Apple M4 Pro je dosegal hitrost okoli 131 žetonov na sekundo, kar je opazno hitreje od modelov, kot sta Googlov Gemma 4 in Nvidiin Nemotron 3.5 Lightning.

Na grafični kartici Nvidia RTX Spark pa je hitrost presegla 150 žetonov na sekundo. Po navedbah podjetja je na preizkusu SWE-Bench Verified presegel rezultate konkurenčnih modelov z manj kot 50 milijardami parametrov. Kljub obetavnim številkam pa velja ohraniti določeno mero previdnosti, saj podrobni pogoji testiranja niso bili javno razkriti, zato bo dejansko uporabnost modela potrdila šele širša uporaba v praksi.

Recursive vidi novi Flint zgolj kot prvi korak. Vizija avtomatiziranega razvoja umetne inteligence je sicer privlačna, toda Flint za zdaj predvsem dokazuje, da je mogoče ustvariti zmogljiv in obvladljiv lokalni model za generiranje programske kode.