Vzpostavite lokalni strežnik za LLM in generativno UI

Ker zaupnost podatkov in računalniške zmogljivosti postajajo vse pomembnejše strateške vrednote za podjetja, ki uvajajo UI, povpraševanje po zasebni, lokalni infrastrukturi AI še naprej raste. Kot odgovor na te trende je QNAP predstavil QAI-h1290FX, robni AI storage strežnik nove generacije, zasnovan za zasebno uvajanje velikih jezikovnih modelov (LLM), RAG iskanj in generativne umetne inteligence.

Poganja ga strežniški procesor AMD EPYC, podpira pospeševanje NVIDIA RTX GPU in ima kar dvanajst rež U.2 NVMe/SATA SSD. Zahvaljujoč temu QAI-h1290FX zagotavlja zmogljivo infrastrukturo AI neposredno pri uporabniku, za organizacije, ki zahtevajo nizko latenco, popolno zasebnost podatkov in operativni nadzor brez zanašanja na oblak.

QAI-h1290FX poganja operacijski sistem QNAP QuTS hero, ki temelji na ZFS-u, in zagotavlja integriteto podatkov, skoraj neomejene posnetke stanja in vgrajeno deduplikacijo. Podpira izvoren dostop do GPU v vsebnikih prek Container Station in posredovanje GPU za virtualne stroje prek Virtualization Station. Ekipe IT, razvijalci in raziskovalne skupine lahko učinkovito poganjajo modele sklepanja, aplikacije za generativno UI in sisteme RAG s popolnim nadzorom nad zmogljivostjo in dodeljevanjem virov.

Opremljen je s skrbno izbranimi vnaprej nameščenimi orodji AI, kot so AnythingLLM, OpenWebUI in Ollama, ki omogočajo hitro uvajanje zasebnih delovnih tokov LLM. Vključene so tudi dodatne AI aplikacije, kot so Stable Diffusion, ComfyUI, n8n in vLLM, za razširitev funkcionalnosti. To uporabnikom omogoča hitro izgradnjo lokalnih AI platform in avtomatizacijo delovnih tokov v varnem, skalabilnem in popolnoma nadzorovanem okolju.

„QAI-h1290FX zadovoljuje rastoče povpraševanje po lokalni infrastrukturi AI,“ je povedal Oliver Lam, produktni vodja pri QNAP. „Želeli smo odpraviti ovire pri vzpostavitvi GPU delovne postaje, nameščanju orodij in konfiguriranju zapletenih okolij. S QAI-h1290FX lahko uporabniki vzpostavijo in zaženejo svoje AI modele takoj po razpakiranju, s popolnim nadzorom nad svojimi podatki in brez zanašanja na oblak.“

Obstaja več ključnih značilnosti, po katerih izstopa QAI-h1290FX. Najprej se zanaša izključno na SSD-je in ima dvanajst rež U.2 NVMe/SATA SSD, kar omogoča ultra-hitri V/I za učinkovito izvajanje AI nalog in pretakanje podatkov. Izjemen 16-jedrni strežniški procesor AMD EPYC 7302P ima 32 niti, zaradi česar je idealen za UI, virtualizacijo in zahtevne vzporedne procese. Poleg tega QAI-h1290FX podpira izbirni NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation GPU z do 96 GB pomnilnika in podporo za pospeševanje CUDA, TensorRT in Transformer Engine. To bistveno poveča zmogljivost za lokalno uvajanje LLM, ustvarjanje vsebine in procese globokega učenja.

Omogoča preprosto in intuitivno upravljanje GPU virov s podporo za Docker in LXD. Uporabniki lahko hitro zaženejo AI orodja prek vgrajenega AI centra za aplikacije in dodelijo vire GPU brez konfiguracije prek ukazne vrstice. Uvajanje je popolnoma lokalno, brez odvisnosti od storitev v oblaku. Klepetalni asistenti, iskalniki dokumentov ali baze znanja – vse je na voljo pri uporabniku, pri čemer občutljivi podatki ostanejo znotraj podjetja.

QNAP QAI-h1290FX se odlikuje po visoki hitrosti omrežja in skalabilno arhitekturo. Opremljen je z dvema vhodoma 25 GbE in dvema vhodoma 2,5 GbE. Reže PCIe podpirajo izbirno nadgradnjo na 100 GbE. Združljiv je z ohišji QNAP JBOD za razširitev shranjevalne zmogljivosti za velike količine podatkov AI.

Kateri so najpogostejši načini uporabe?

Ta naprava se lahko uporablja za številne namene, tokrat pa bomo izpostavili nekaj najpogostejših. Mogoče je uvesti interne AI asistente prek lokalnega klepetalnega kanala. Vmesnik UI za iskanje po bazah znanja, usposabljanje zaposlenih in odgovore na vprašanja o internih pravilih – vse je popolnoma pod vašim nadzorom. Iskanje RAG je prav tako zanimiva možnost. Izkoristite zasebne sisteme RAG za hitro, kontekstualno iskanje po pogodbah, poročilih in internih dokumentih. Seveda je tu tudi neizogibno ustvarjanje slik. Zaženite Stable Diffusion ali ComfyUI za ustvarjanje vizualne vsebine s podporo umetne inteligence. Uporabite n8n za avtomatizacijo sklepalnih in napovednih nalog, ustvarjanja vsebine ali obvestil ter tako brezšivno integrirajte UI v poslovne procese.

Z modelom QAI-h1290FX QNAP ponuja preprosto in učinkovito uvajanje generativne umetne inteligence znotraj meja podjetja. Ne glede na to, ali se uporablja v pravnih zadevah, kadrih, kreativnih operacijah ali IT-ju, pomaga ekipam delati hitreje, ostati skladnim s predpisi in ohraniti popoln nadzor nad svojo strategijo UI.