AI infrastruktura ni samo GPU: 7 korakov do pravilno dimenzioniranega okolja

GPU-ji so eden najdražjih delov AI infrastrukture, vendar njihova zmogljivost sama po sebi še ne zagotavlja učinkovitega izvajanja AI delovnih obremenitev. Uptime Institute navaja, da tudi dobro optimizirani modeli pri učenju dosegajo približno 35-45 odstotkov teoretične računske zmogljivosti GPU-jev.

Razlog za morebitno neučinkovito izvajanje AI delovnih obremenitev torej ni nujno premalo zmogljiva strojna oprema. Ozko grlo je lahko pomnilnik, diskovni sistem, omrežje, dostop do podatkov ali sama zasnova AI okolja. Zato tudi ni nujno, da potrebujete več GPU-jev, predvsem je pomembno sestaviti uravnoteženo infrastrukturo glede na dejanske potrebe.

»Pri dimenzioniranju AI infrastrukture ni dovolj vprašanje, koliko GPU-jev bomo namestili v strežnik. Najprej moramo razumeti konkretno delovno obremenitev, količino in naravo podatkov ter pričakovano uporabo rešitve. Šele nato lahko določimo konfiguracijo, ki bo zagotavljala ustrezno razmerje med zmogljivostjo, izkoriščenostjo in stroški,« pojasnjuje Luka Mihelič, prodajni inženir v podjetju Kontron SI .

7 korakov pred izbiro AI infrastrukture, ki jih je smiselno preveriti:

1. Kaj bo AI dejansko počel?
Najprej je treba opredeliti, katere AI aplikacije bo podjetje uporabljalo in za kakšne delovne obremenitve. Infrastruktura za učenje modelov ima drugačne zahteve kot okolje za izvajanje že naučenih modelov.

2. Kakšne so zahteve glede GPU-ja, procesorske moči in pomnilnika?
GPU predstavlja le en del celote. Pomembni so tudi procesorska zmogljivost, količina in hitrost pomnilnika ter način povezovanja komponent. Najzmogljivejši GPU ne prinese pričakovanega učinka, če mu preostali deli infrastrukture ne morejo slediti.

3. Koliko podatkov bo rešitev obdelovala in kje bodo shranjeni?
Upoštevati je treba količino podatkov, pogostost dostopa do njih in njihovo lokacijo. Pomembne niso samo kapacitete diskov, ampak tudi njihova zmogljivost in povezava s preostalim okoljem.

Če podatki do GPU-jev ne prihajajo dovolj hitro, lahko ti del časa čakajo na podatke, namesto da bi izvajali izračune.

Pri tem je pomembno tudi ustrezno dimenzionirano omrežje, saj mora omogočati dovolj hiter pretok podatkov med diskovnim sistemom in AI strežniki ter med posameznimi strežniki, kadar jih je v okolju več. Pri velikih količinah podatkov je pomembno tudi omrežje.

Če omrežje ne zagotavlja potrebne hitrosti prenosa, lahko omejuje delovanje celotnega okolja in posledično tudi izkoriščenost GPU-jev. Dodatno je dobro predvideti tudi, kdaj se bo AI rešitev v produkciji uporabljala – torej ali bomo uporabljali denimo pogovornega asistenta, do katerega bodo med delovnikom sočasno dostopali številni uporabniki, ali želimo vpeljati agenta, ki bo denimo izvajal nadzor nad veljavnostjo dokumentov in pravočasno alarmiral. Slednji namreč lahko svoje opravilo izvaja ponoči, ko so sistemi manj obremenjeni oz. neobremenjeni.

4. Kje lahko nastanejo ozka grla?
GPU, procesor, pomnilnik, diskovni sistem in omrežje morajo biti med seboj ustrezno usklajeni. Cilj ni največja možna zmogljivost posamezne komponente, ampak uravnoteženo okolje za konkretno opredeljeno delovno obremenitev.

5. Ali smo rešitev preverili s POC-om oziroma benchmarki?
Teoretične specifikacije niso vedno dovolj za napoved dejanskega delovanja. Pred večjo investicijo je zato smiselno izvesti preizkus koncepta (POC) oziroma benchmark na realnih ali reprezentativnih podatkih. Tako lahko preverimo izkoriščenost GPU-jev in odkrijemo morebitna ozka grla.

6. Ali AI infrastruktura omogoča prihodnjo nadgradnjo?
Modeli postajajo vse bolj napredni in večji, količina podatkov narašča, navadno se preko dobre prakse po vpeljavi  poveča tudi število uporabnikov. Zato je smiselno izbrati platformo, ki omogoča prihodnjo širitev.

7. Kako bodo urejeni varnost, dostopi, nadzor in upravljanje okolja?
Predvsem pri občutljivih poslovnih podatkih je treba upoštevati tudi varnost, dostope, nadzor in zaščito podatkov. Le na ta način bo AI rešitev tudi skladna z zakonodajo.

Kaj to pomeni v praksi?

Pri načrtovanju AI infrastrukture ni ene konfiguracije, ki bi bila primerna za vse. Nobeno AI okolje ni povsem enako, saj se podjetja razlikujejo glede na namen uporabe, modele in aplikacije, količino podatkov, število (sočasnih) uporabnikov, zahtevano zmogljivost ter načrte za prihodnjo rast.

Zato v Kontron SI pri načrtovanju infrastrukture vedno izhajajo iz konkretnih potreb, zahtev in želja stranke, pa seveda tudi njihovih omejitev – glede na njihovo naravo dela oziroma tip industrije, v kateri delujejo. Skupaj s stranko opredelijo, kaj želi podjetje z AI doseči, kakšne delovne obremenitve bo izvajalo, katere podatke bo obdelovalo, kakšna so lahko prepoznana tveganja ter kakšne so zahteve glede zmogljivosti, varnosti in razširljivosti okolja.  

Vsekakor je pomembno vedeti, kje se podatki nahajajo in kje se lahko obdelujejo. Pri nekaterih AI rešitvah lahko obdelava poteka v javnem oblaku, pri občutljivih poslovnih podatkih, intelektualni lastnini ali okoljih z visokimi zahtevami glede varnosti, regulative in podatkovne suverenosti pa je lahko zahteva, da podatki ostanejo v lastnem oziroma nadzorovanem okolju podjetja. To je še posebej pomembno v okoljih kritične infrastrukture, kjer sta nadzor nad podatki in obvladovanje varnostnih tveganj ključnega pomena.

V takšnih primerih je smiselna on-premise AI infrastruktura, kjer ima podjetje neposreden nadzor nad podatki, modeli in strojno opremo. Za takšna okolja so primerni tudi Dell PowerEdge strežniki za AI, ki omogočajo lokalno izvajanje različnih AI delovnih obremenitev – od inference in računalniškega vida do zahtevnejšega prilagajanja in učenja modelov. Konkretna platforma in konfiguracija pa sta ponovno odvisni od zahtev posameznega AI okolja.

Na podlagi vseh zbranih informacij v podjetju Kontron SI pripravijo začetno zasnovo rešitve, ki jo pred večjo investicijo preverijo s POC-om oziroma benchmarki na reprezentativnih podatkih.  

Tako ocenijo zmogljivost, izkoriščenost komponent in morebitna ozka grla.

Šele na podlagi zahtev stranke in rezultatov testiranja sestavijo konfiguracijo, ki poleg GPU-jev vključuje tudi procesor, pomnilnik, diskovni sistem, omrežje ter možnosti prihodnje nadgradnje.

Takšen pristop omogoča, da stranka ne investira zgolj v najzmogljivejšo strojno opremo, ampak v uravnoteženo AI infrastrukturo, prilagojeno njenim dejanskim potrebam.

Strokovnjaki podjetja Kontron SI s stranko sodelujejo skozi celoten proces – od opredelitve potreb in zahtev, izvedbe POC-a in preverjanja rezultatov do dimenzioniranja ter izbire končne AI infrastrukture.

Prava konfiguracija je tista, ki ustreza vašim potrebam

Uspešna uvedba AI se niti ne začne niti ne konča z izbiro ustreznih strežnikov in grafičnih procesorjev. Je pa to zelo pomemben del poti, ko stranka razmišlja o uvedbi rešitev umetne inteligence, zato je pri načrtovanju infrastrukture smiselno razmišljati širše od same strojne opreme – o celotnem življenjskem ciklu AI infrastrukture, od začetnega dimenzioniranja in testiranja do upravljanja, nadzora in prihodnje nadgradnje.

Ob tem ne smemo pozabiti na informacijsko varnost, skladnost z zakonodajo, zaščito podatkov, nadzor dostopov in ustrezno upravljanje okolja. Prava AI infrastruktura ni nujno najzmogljivejša, temveč tista, ki dolgoročno ustreza potrebam podjetja ter omogoča varno, zanesljivo in stroškovno učinkovito uporabo umetne inteligence.

Več lahko najdete na spletni strani www.kontron-slovenia.com/sl.