Nvidia DLSS, Reflex, Ray Tracing, Frame Generation … Kaj je vloga teh tehnologij? Kdaj jih uporabiti?

NVIDIA je z linijo grafičnih kartic RTX prinesla v igre celo paleto naprednih tehnologij, ki presegajo zgolj surovo moč strojne opreme. Te funkcije, od sledenja žarkom (angl. ray tracing) do različnih UI pospešenih trikov, močno vplivajo na igralno izkušnjo.

Ko prebiraš specifikacije najnovejših grafičnih kartic, zelo hitro naletiš na izraze, kot so DLSS, Nvidia Reflex, Frame Gen in podobno. Njihov opis se sliši, kot da gre za duh iz steklenice, in marsikdo niti ne ve, kaj te tehnologije sploh naredijo in kako se to opazi v igrah. Da bo naslednji nakup grafične kartice malce lažji in predvsem bolj razumljiv, sem se poglobil v delovanje vseh teh tehnologij, ki jih uporabljam tudi sam.

Bi radi samo hiter povzetek?

• DLSS omogoča višje ločljivosti in več sličic na sekundo z uporabo umetne inteligence za izris slik iz nižjih resolucij, pri čemer ohranja vizualno kakovost skoraj na ravni izvornega prikaza.
• Frame Gen umetno generira dodatne sličice med dvema realnima, kar občutno zviša frekvenco sličic (fps), vendar lahko povzroči zamike pri vnosu in artefakte v hitro gibajočih se scenah.
• Reflex zmanjša zakasnitev med pritiskom na tipko in odzivom v igri, kar je ključno za tekmovalne igre in hitre reakcije. Tehnologija pa ne vpliva na kakovost slike ali fps-je.
• Ray tracing simulira realistično obnašanje svetlobe v realnem času, kar ustvarja izjemno prepričljive odseve in sence. Vizualna izboljšava je opazna, vendar RT močno obremeni grafično kartico in zmanjša fps-je brez uporabe DLSS.
• DLAA (Deep Learning Anti-Aliasing) uporablja umetno inteligenco za odpravo nazobčanosti brez spreminjanja ločljivosti, kar zagotavlja vrhunsko kvaliteto slike na račun nekoliko nižjih zmogljivosti v primerjavi z DLSS.
• Rekonstrukcija žarkov namesto klasičnega odpravljanja šumov uporablja nevronske mreže za izboljšanje kakovosti ray tracinga, kar pomeni čistejše in bolj realistične osvetlitve brez vidnega šuma, a je odvisno od igre in implementacije.

Za bolj tehnični pregled pa nadaljujte z branjem.

Sledenje žarkom (ray tracing) za bolj realistično grafiko

Temelj grafičnih kartic Nvidia RTX je namenska strojna podpora za sledenje žarkom (ray tracing). Gre za način izrisovanja grafike, ki simulira resnično vedenje svetlobe: sledenje poti posameznih žarkov svetlobe od virov, kako se odbijajo od površin, lomijo skozi steklo in tvorijo sence ter odseve. Rezultat so bistveno bolj realistične osvetlitve in odsevi v igrah v primerjavi s klasičnimi tehnikami rasterizacije.

Igralec to opazi na živih odsevih, ki so tako natančni, da lahko v lužah in ogledalih vidi pravilen odsev okolice, ter na mehkobnih, fizično pravilnih sencah in osvetlitvi, ki se dinamično prilagaja okolju. Ray tracing lahko ustvari prizore, ki so blizu filmski kakovosti.

Slaba plat sledenja žarkom je zelo velika zahtevnost. Izračun množice žarkov v realnem času zahteva ogromno procesorske moči na grafičnem procesorju. Že ob predstavitvi prvih RTX kartic (serija 20) leta 2018 je NVIDIA opozarjala, da brez dodatne pomoči igre s sledenjem žarkom težko tečejo tekoče.

Zato so hkrati razvili podporne tehnologije, kot je DLSS, ki pomagajo nadoknaditi izgubljeno hitrost. Ne glede na to uporaba tehnologije sledenja žarkom ostaja izziv tudi za novejše grafične kartice. Ko ray tracing v igri vklopimo, pogosto frekvenca sličic (fps) drastično upade, odvisno od izbrane nastavitve. Igralec tako v praksi dobi lepšo sliko, a lahko občuti nižjo zmogljivost in pogosto se število fps-jev giblje pod 60 fps, ki služi kot meja za gladko igranje pri večini iger.

DLSS: globoko učenje za višji FPS in jasno sliko

Deep Learning Super Sampling (DLSS) je Nvidiina zbirka tehnik za nevralno upodabljanje, ki uporablja umetno inteligenco (UI) za dvig hitrosti sličic in izboljšanje kakovosti slike. Preprosto povedano DLSS omogoča, da se igra upodablja na nižji ločljivosti, nato pa poseben UI model sliko poveča na ciljno ločljivost (na primer na vaš 4K monitor) in pri tem izboljša podrobnosti, da je kakovost blizu sliki v naravni ločljivosti. Tako je grafična kartica občutno manj obremenjena. Ni ji potrebno vsako sličico izrisati v polni ločljivosti, temveč to vlogo prevzame usposobljeno nevronsko omrežje na jedrih Tensor.

Rezultat je takoj opazen. Če so pri vklopu ray tracinga, fps-ji strmo padli, se pri vklopu tehnologije DLSS zgodi ravno obratno. Spet je dvig odvisen od nastavitve, ali izberemo Performance ali Quality.

DLSS se je od uvedbe močno razvijal. Prve različice (DLSS 1.0) so sicer dvignile zmogljivost, a pogosto z mehko ali neostro sliko, ker je UI model deloval na osnovi posamezne igre in omejenih podatkov.

DLSS 2.0 (2020) je prinesel velik preskok. Univerzalni UI model, ki je bistveno izboljšal ostrino in podrobnosti, tako da je v načinu Quality slika večkrat celo neločljiva od izvirne ločljivosti. Pozneje so različice 2.x dodajale še načine Ultra Performance za 8K, možnost DLAA (Deep Learning Anti-Aliasing), kjer UI izboljša gladkost robov pri izvirni ločljivosti (brez skaliranja).

S serijo RTX 40 je Nvidia predstavila DLSS 3, ki ni pomenil novega načina povečanja ločljivosti, temveč je dodal povsem novo zmožnost – generiranje vmesnih sličic (več o tem kasneje). Proti koncu leta 2023 je različica DLSS 3.5 predstavila še rekonstrukcijo žarkov, ki je UI tehnika za boljšo obdelavo ray tracinga.

DLSS 4.0: Kaj je novega?

Z najnovejšimi RTX karticami (RTX 50) pa prihaja DLSS 4.0, kar Nvidia označuje kot največjo nadgradnjo od uvedbe DLSS 2.0. Kaj je uvedla četrta generacija?

Dobili smo nove UI modele na osnovi transformatorjev (enake vrste nevronskih mrež, kot jih uporabljajo ChatGPT in ostali), namesto dosedanjih konvolucijskih mrež. Ti transformerski modeli v realnem času analizirajo celotno sliko in zaporedje več sličic hkrati ter tako bolje razumejo kontekst vsakega piksla.

Posledično DLSS 4 prinaša še ostrejšo in stabilnejšo sliko. Manj je tudi »duhov« (angl. ghosting) pri hitro premikajočih se objektih, manj tresenja ter bolj gladki robovi. Včasih si lahko pri igrah opazil, da so nekateri predmeti na zaslonu utripali ali kaotično migetali. Tega je zdaj veliko manj, ponekod celo v celoti odpravljeno.

DLSS 4.0 je izboljšal že obstoječo tehnologijo za povečanje ločljivosti (Super Resolution). Zmogljivejši UI model lahko bolje rekonstruira podrobnosti iz nižje ločljivosti (na primer nazobčanost robov, šum …). Število sličic na sekundo je veliko višje, kakovost slike pa večinoma ostaja enaka, morda ponekod celo boljša.

Povečanje ločljivosti, rekonstrukcija žarkov, DLAA … To so programske nadgradnje, za katere je Nvidia že potrdila, da bodo na voljo tudi na starejših RTX grafičnih karticah. Glavna novost, Multi Frame Generation, pa bo na voljo samo na najnovejših grafičnih karticah RTX 50.

Kaj pa slabosti? Teh ni veliko. Če boste želeli uporabljati vse omenjene tehnologije, boste morali kupiti Nvidiino grafično kartico, za najboljše rezultate srednjega ali višjega ranga. AMD-jeve grafične kartice imajo podobne tehnologije, vendar iskreno še niso na enakem nivoju, čeprav vsako leto močno navijam, da se jim bodo približali. Mogoče naslednje leto.

Včasih lahko opaziš tudi še kakšne nadležne artefakte ali ne preveč dobro izrisane podrobnosti, vendar je tega res zelo malo. DLSS je nedvomno med najbolj uporabnimi tehnologijami, ki jih je uvedla Nvidia.

Frame Gen oziroma generiranje sličic z umetno inteligenco

Ko je Nvidia razkrila DLSS 3, je predstavila koncept, da lahko umetna inteligenca ne le izboljša posamezno sličico, temveč lahko ustvari povsem nove vmesne sličice. Ta zmožnost, imenovana Frame Generation (generiranje sličic), poveča frekvenco sličic tako, da vstavi dodatne, navidezne sličice med običajne, renderirane sličice. Pri DLSS 3 je bilo to izvedeno tako, da je GPU po upodobitvi vsake sličice v igri uporabil poseben optični pretok (Optical Flow Accelerator) in podatke o gibanju v igri, da je predvidel, kako se slika premika, in generiral še eno dodatno sličico.

Z drugimi besedami, iz dveh zaporednih »pristnih« sličic je UI vmes naredil tretjo, interpolirano. Če je igra sicer tekla npr. pri 60 fps-jih, lahko s Frame Generation poskoči na približno 90 fps-jev, v idealnih primerih so fps-ji poskočili za dvakratnik.

A Frame Generation v praksi ni čarobna paličica. Zavedati se moramo, da te »umetne« sličice ne izboljšajo hitrosti procesiranja vhodnih ukazov. Ker igra še vedno logiko in vhod (miško, tipkovnico) obdeluje pri osnovnih 60 fps-jih, se z dodatnimi vmesnimi sličicami predvsem zgladi gibanje, ne pa tudi poveča odzivnost. Dejansko gre za tehniko, ki »prevara« naše oči, da vidijo več sličic, kot jih igra resnično izračuna. Posledica je lahko, da merilnik fps-jev pokaže denimo 120, a občutek na miški je bolj podoben 60, saj je vhodna zakasnitev ostala enaka. Vstavljanje dodatnih sličic lahko celo poveča vhodni zamik (latenco), saj mora sistem prikazati UI generirano sličico, preden sprejme naslednji vhod z igre.

To je tudi glavna skrb nove tehnologije. Bodo igre zaradi nje manj odzivne? Bodo delovale počasno? Ali bodo umetne sličice prikazovale tudi nezaželene artefakte?

Na prvo vprašanje je Nvidia odgovorila z integracijo tehnologije Reflex, ki je postal obvezen pri uporabi DLSS Frame Gen, in skrbi da je vhodna zakasnitev čim nižja.

Na drugo pa je odgovor v veliki meri podala kakovost UI modela. Pri večini iger so generirane sličice presenetljivo dosledne. Med počasnejšim, linearnim gibanjem kamere (hoja po pokrajini) boste težko opazili, da vsaka druga sličica ni »prava«. Pri hitrih premikih pa lahko včasih opazimo artefakte, kot so nenavadno popačenje objekta, če se ta premakne prehitro in ga UI nepravilno zapolni, ali podvojitev robov pri zelo hitrem premiku kamere (ker UI poskuša ugibati, kje naj bodo objekti). Tipičen primer je lahko hitro premikajoč se vmesnik ali bliskajoči učinki. Slednji v generirani sličici morda ne bodo pravilno upodobljeni in lahko delujejo megleno. K sreči so ti primeri razmeroma redki in Nvidia svoj model nenehno izpopolnjuje.

Z generacijo RTX 50 in prihodom DLSS 4.0 pa so ta koncept dodajanja sličic še nadgradili.

Na najmočnejši kartici GeForce RTX 5090 lahko DLSS 4 ustvari do tri dodatne sličice za vsako upodobljeno, kar pomeni, da iz 30 fps-jev dosežemo 120 fps-jev. V praksi grafična kartica upodobi le vsak četrti okvir, vmesne tri pa so UI interpolirane.

Rezultati so lahko izjemni. Igro Cyberpunk 2077 z vklopljenim polnim ray tracingom (Path Tracing) in pri ločljivosti 4K lahko igramo tudi s kar 240 fps-ji, kar s klasično rasterizacijo še nekaj let ne bo mogoče.

Multi Frame Generation pa je strojno zelo zahtevna operacija. Kot smo omenili, zmore to učinkovito le arhitektura RTX 50 s peto generacijo jeder Tensor. Če bi enak poskus naredili na prejšnji generaciji, bi grafična kartica ob generiranju treh vmesnih sličic postala ozko grlo. Nvidia je zato optimizirala postopek. Novi model za generiranje sličic potrebuje samo en klic na upodobljen okvir, ne več ločenega poganjanja za vsako vmesno sličico. Poleg tega so celo opustili zanašanje izključno na strojni optični pretok. Deloma so ga nadomestili z UI modelom za optični tok, ki bistveno pohitri izračun gibanja.

Vse to pomeni, da lahko RTX 5090 sproti izvede do 5 UI modelov (povečanje ločljivosti, rekonstrukcija žarkov, generiranje sličic …) na vsak okvir v le nekaj milisekundah, ne da bi opazili zatikanje. Te tehnološke izboljšave zadoščajo, da se teoretično povečanje števila sličic dejansko pozna v praksi in to ob nižji zakasnitvi sistema v primerjavi s klasičnim upodabljanjem. To pomeni, da je odzivnost iger (težava pri prejšnji generaciji) veliko manj pereča problematika pri novejših karticah. Najnovejši Multi Frame Gen je izključno na voljo za grafične kartice RTX 50. Starejše kartice (RTX 40) lahko generirajo le eno vmesno sličico, še starejše (RTX 30/20) pa te tehnologije nimajo.

Generiranje sličic pride najbolj do izraza v igrah, kjer odzivnost ni ključna, želimo pa kar najbolj gladko sliko in nimamo drugega načina za doseganje želenih fps-jev. Druga slabost je možnost vizualnih artefaktov. UI sicer izkorišča ogromno podatkov iz igre in predhodnih prizorov, a včasih lahko pride do napak.

AMD nima pravega odgovora na Multi Frame Gen. Pravzaprav šele uvajajo podobno tehnologijo (FSR 3 s tehnologijo Fluid Motion Frames), ki pa zaostaja po kakovosti in številu podprtih iger.

Nvidia Reflex: boj proti zakasnitvi vnosa

Če boste v kotu monitorja videli številko 100 ali več fps-jev (ki ste jih dosegli z DLSS), to še ne pomeni, da bo izkušnja igranja fenomenalna. Kot sem že omenil, zakasnitev lahko pokvari izkušnjo. Zakasnitev vnosa (angl. input lag) je čas, ki preteče od trenutka, ko na primer premaknete miško, do trenutka, ko se gibanje dejansko pokaže na zaslonu.

V klasičnem grafičnem cevovodu lahko ta zakasnitev nanese več deset milisekund, saj se ukazi nalagajo po določenem nizu. Procesor pripravi okvir, ta čaka v vrsti, grafična kartica ga izriše, nato gre slika v medpomnilnik in šele z osvežitvijo monitorja jo vidimo. Nvidia Reflex je tehnologija (pravzaprav skupek gonilniških in programskih optimizacij), ki to nepotrebno čakanje odpravi ali zmanjša.

Z uvedbo Reflex leta 2020 (serija RTX 30) je Nvidia ponudila način, da igra in gonilnik dinamično usklajujeta CPU in GPU, tako da slednji ne upodablja preveč sličic vnaprej. S tem se izogne zastoju v vrsti. Vsak kader se izriše čim bližje trenutku, ko ga potrebujemo in tako skrajša pot od vhoda do prikaza. V igrah, ki podpirajo Nvidia Reflex, je zakasnitev lahko manjša tudi do 50 %.

Reflex je najbolj priljubljen med tekmovalnimi igralci, ki igrajo streljačine (CS:GO, Valorant, CoD …), kjer je Reflex zelo zaželena tehnologija. Nvidia navaja, da 9 0% igralcev Reflex vklopi, če je na voljo. Slaba stran tehnologije praktično ne obstaja.

Z novo generacijo (RTX 40 in 50) je Nvidia tehnologijo še nadgradila. Govorimo lahko o Reflex 2.0, saj so pri RTX 50 predstavili dodatne trike, kako še bolj zmanjšati latenco. Nvidia navaja, da Reflex 2 lahko zniža zakasnitev do 75%. Kako je to mogoče? Ena ključna novost je tehnika z imenom Frame Warp. Gre za pameten poseg v prikaz zadnjega trenutka. Ko zazna zelo hiter premik kamere (sunkovit gib z miško), Reflex 2, namesto da čaka na povsem nov izris sličice, vzame obstoječo sličico in jo sproti preoblikuje glede na najnovejši vhod.

S pomočjo algoritma in predvidevanja popači trenutno sličico v smeri gibanja kamere, s čimer igralec praktično takoj vidi odziv na gib, še preden je grafična kartica uspela izrisati nov kader. Nato klasično upodabljanje ujame in normalno nadaljuje z dogajanjem, a ta »hitri vmesni popravek slike« lahko prihrani dragocene milisekunde.

Sliši se kot čarovnija, a nekaj podobnega poznamo tudi pri VR očalih, ki na podoben način zmanjšujejo občutek slabosti.

Seveda je pomembno poudariti, da Frame Warp ni čisto brez kompromisa. Popačena sličica morda ni 100 % natančna, a ker traja le delček sekunde, oči tega večinoma ne zaznajo. Pomembneje je, da miškin premik takoj začutimo na monitorju.

Rekonstrukcija žarkov so UI izboljšave za ray tracing

Kot sem omenil na začetku, tehnologija sledenje žarkom (ray tracing) je zelo zahtevna in zaradi omejenega števila žarkov, ki jih GPU lahko izračuna v realnem času, se morajo igre zanašati na trike, da slika ne izgleda preveč »zrnata«. Zelo pomembni so t. i. »denoiserji« oziroma algoritmi za odpravljanje šuma.

Ko igra izračuna le delček vseh potrebnih žarkov za osvetlitev, nastane slika, ki migeta od šuma (manjkajoči podatki). Tradicionalni denoiser ta šum zgladi tako, da časovno (med zaporednimi sličicami) in prostorsko (med sosednjimi piksli) zapolni manjkajoče informacije z oceno, kaj bi tam moralo biti.

Ti ročno uglašeni filtri opravijo pomembno nalogo.B rez njih bi bil ray tracing v igrah neuporaben, saj bi slika lahko utripala, vendar niso popolni. Včasih odstranijo tudi kakšno podrobnost, ki bi morala ostati, ali pa povzročijo napake, kot so netočni odsevi in osvetlitve. Morda ste opazili kak čuden odsev žarometa v igri, kjer se je svetloba končala na napačnem mestu, ali pa za hitrim objektom ostane duh. To je posledica napačnega delovanja denoiserja.

Z različico DLSS 3.5 je Nvidia predstavila Ray Reconstruction oziroma rekonstrukcijo žarkov. To je UI nadomestek za klasični denoiser. Namesto ročnega algoritma, ki po fiksnih pravilih gladi šum, so usposobili nevronsko mrežo, ki je naučena prepoznati razliko med dobrimi in slabimi piksli v ray tracing načinu. Ta model dobi dostop do bogatejših podatkov. Ve, kateri piksli so rezultat katerega učinka sledenja žarkom (refleksije, globalna osvetlitev, sence …), pozna gibanje v prizoru in barve površin. Na podlagi ogromne količine učnih podatkov lahko UI pametneje odstrani šum, ohrani fine detajle osvetlitve in refleksij, ki bi jih klasični denoiser morda zgladil preveč, ter agresivneje odpravi res samo tisti nezaželeni šum. Končni cilj je čistejša, bolj ostra in pravilnejša slika pri vklopljenem ray tracingu.

Nvidia poudarja, da Ray Reconstruction ni le kozmetična izboljšava, ampak tudi praktična. Ker en sam UI model nadomesti več ročno spisanih stopenj algoritma za odpravljanje šuma, lahko v nekaterih primerih celo razbremeni GPU. Ray Reconstruction je na voljo na vseh RTX karticah (20, 30, 40, 50), saj uporablja jedra Tensor, podobno kot navadni DLSS. Igra pa mora seveda biti posodobljena, da podpira to tehnologijo.

Kaj pomenijo te tehnologije za igralce?

Surova zmogljivost grafičnih kartic bo vedno najpomembnejša, ampak kot ste lahko tudi sami dognali, programska plat postaja enako kritična za uporabnike.  

Za igralca je pomembno razumeti, kako in kdaj izkoristiti te tehnologije. DLSS Super Resolution vsekakor vklopite, če imate RTX grafično kartico in igra to podpira. V načinu kakovosti boste skoraj vedno dobili več fps-jev brez opazne razlike v sliki. DLSS Frame Generation premislite glede na žanr. Za vizualno bogate enoigralske igre je to fantastično za gladkost, pri tekmovalnih streljačinah pa raje ne, da ne tvegate počasnega občutka ali manjših artefaktov.

Reflex, če je na voljo, ga vedno vključite, tu praktično ni slabosti. Ray tracing in Ray Reconstruction pa uporabite, če cenite grafično podobo in imate dovolj zmogljivo kartico (brez DLSS se ray tracing skoraj ne izplača, z DLSS in ray tracing pa lahko izgleda čudovito z zmernim vplivom na zmogljivost).