Je UI model DeepSeek, o katerem govori cel svet, resnično tako dober?

DeepSeek je trenutno najbolj “vroča roba” med UI modeli in trenutno zaseda sam vrh Applove AppStore trgovine v ZDA in Veliki Britaniji. Gre za popolnoma brezplačni UI model kitajskega startup podjetja DeepSeek, ki si želi umetno inteligenco približati širši množici. Kako? Z brezplačno verzijo konkurenta OpenAI-jevaga ChatGPT o1 modela.

Nove UI aplikacije se v App Store pojavljajo skoraj vsak dan in pogosto se pojavi veliko prahu okoli lansiranja novega modela, saj ljudje iščejo naslednjo alternativo ChatGPT. Ne glede na to, ali ste ljubitelj OpenAI programske opreme, ali raje uporabljate Google Gemini, obstaja UI orodjeza vsakogar in DeepSeek želi biti naslednja ikona na vašem domačem zaslonu.

Pri spletnem portalu Tech Radar so se odločili, da preizkusijo DeepSeek V3 in DeeThink R1 modela in ju primerjajo s ChatGPT 4o in o1. Glavni cilj primerjave je bilo ugotoviti, ali so objave uporabnikov na spletu upravičene in ali DeepSeek resnično predstavlja grožnjo ameriškim UI modelom, ki so do zdaj kraljevali na trgu generative umetne inteligence.

Najprej osnove

V preizkusu so pri Tech Radarju želeli dobiti popoln vpogled v vse, kar ponuja DeepThink v primerjavi s ChatGPT, zato se jim je zdelo edino pošteno, da uporabljajo UI pogovorni bot na enak način, kot bi uporabljal UI v vsakdanjem življenju.

ChatGPT o4 in DeepSeek V3 so za začetek prosili, naj oba modela ustvarita dnevni urnik z nekaj informacijami o tem, kdaj se uporabnik zbudi, rutini psa in kratko razčlenitvijo dela. Oba modela sta ustvarila odlične urnike, ki jih je uporabnik lahko resnično uporabljal vsak dan. Vseeno pa je funkcija pomnilnika ChatGPT naredila urnik bolj koherenten.

Na začetku je potrebno izpostaviti, da si DeepSeek lahko zapomni le informacije iz istega klepeta in ne more do informacij iz prejšnjih klepetov, s čimer bi si pomagal pri odgovoru.

Razloži mi, kot da imam 5 let

Nato so pri Tech Radarju oba modela vprašali o končnici zelo popularne lige NFL. Prosili so povzetek koncepta končnice NFL v 200 besedah. Oba modela sta zagotovila odlične informacije, ki so omogočile popolno razumevanje delovanja sistema in poti, ki jo ekipa mora opraviti, da pride do Super Bowla.

ChatGPT se je odločil za odstavek z 200 besedami, medtem ko je DeepSeek informacije razdelil na točke. Opazili so, da je ChatGPT podal več konteksta o tem, kako ekipe dobijo posebno povabilo lige, vendar je razlika med rezultati dokaj majhna in eden vam bo bolj všeč kot drugi izključno na podlagi osebnih preferenc.

Reševanje problemov

Po tem, ko so osnove obdelali, so prišli do glavnega vprašanja, in sicer ali DeepThink R1 upravičuje pričakovanja. Na spletu uporabniki pišejo, da je brezplačno model DeepThink R1 enako dober kot ChatGPT o1, ki je brezplačno na voljo v omejenem obsegu, za poln dostop pa je potrebna naročnina.

Da bi preizkusili zmožnost sklepanja klepetalnih robotov so poiskali nekaj najtežjih izzivov, ki so jih našli. Nad določenimi rezultati so bili šokirani:

Vprašanje 1: Poišči manjkajočo besedo: Apple, Red, Coal

Pri testu so se odločili, da se izognejo vprašanjem z več možnimi odgovori, namesto tega pa so samo napisali vprašanje in pritisnil enter.

ChatGPT o1 je za odgovor porabil 1 minuto in 29 sekund ter našel povezave med besedami in pravljico Sneguljčica. Model se je odločil odgovoriti na podlagi tega citata: “njene ustnice so bile rdeče kot kri, njeni lasje so bili črni kot premog, njena koža pa bela kot sneg.” Na podlagi tega citata je o1 kot odgovor manjkajoče besede izbral Sneg. Čeprav je bil miselni proces modela o1, to ni bil odgovor, ki so ga iskali.

DeepThink R1 pa je za odgovor potreboval 1 minuto in 14 sekund in uspel je uganiti pravo besedo: Črna. Jabolko je rdeče; premog je črn. Impresivno, milo rečeno.

Vprašanje 2: 1. Dokončaj zaporedje: 1, 2, 4, 8, ? 2. Dokončaj zaporedje: hiša, Saturn, pes, burger, ?

Medtem ko je prvo zaporedje zelo enostavno je drugo nemogoče (so samo štiri naključne besede). Ali bi lahko ChatGPT o1 ali DeepThink R1 opazila past?

Niti ne. Oba modela sta poskušala najti odgovor in podala povsem drugačnega. DeepThink R1 je odgovoril z “rumena”, ker je menil, da so besede povezane z njihovo barvo (bela hiša, rumeni Saturn, rjavi pes, rumeni burger). ChatGPT o1 je na drugi strani odgovoril z “avto”, ker se mu je zdelo zaporedje skoraj nemogoče, vendar se je odločil ponuditi odgovore na podlagi “pristopa klasične uganke”. Pristop, ki ga je izbral, je bil povezovanje vsakega predmeta v večjo kategorijo, ki ji pripada (hiša = zgradba, Saturn = planet, pes = žival, burger = hrana in avto = vozilo).

Navsezadnje sta se oba modela zmotila in nobeden se ni odzval tako, da bi jasno izrazil, da je preveč spremenljivk, da bi dal natančen odgovor.

DeepSeek vs ChatGPT?

Portal Tech Radar je oba modela preizkusil na različne načine in zdaj je vprašanje, kateri je boljši? Glede na odgovore, ki so jih med testiranjem prejeli, je DeepThink R1 odličen brezplačen model sklepanja, zaradi katerega se lahko vprašate, ali je vredno plačevati za dostop do o1. DeepSeek je na voljo samo v spletu, trgovinah iOS App Store in Play Store, samostojna aplikacija za Mac ali iPad, pa verjetno še sledi.

Pri Tech Radarju so se odločili, da bodo ostali pri ChatGPT, predvsem zato, ker se močno zanašajo na funkcijo spominov, ki klepetalnemu robotu omogoča, da se sklicuje na prejšnje pogovore. V korist ChatGPT govori tudi samostojna aplikacija za naprave Mac in iPad, pa tudi možnost ustvarjanja slik z enim najboljših generatorjev slik z umetno inteligenco, DALL-E.

DeepSeek temelji izključno na besedilu in nima večmodalnih zmogljivosti, a glede na to, da je to šele začetek njegove poti, gre za zelo resnega tekmeca na področju UI modelov, o katerem bomo zagotovo še veliko slišali.