IBM Labs: raziskovalci predstavili revolucionarni dosežek na področju hrambe velikih količin podatkov

Raziskovalci družbe IBM so predstavili vpogled v prihodnost velikanskih sistemov za hrambo podatkov, saj so uspeli prečesati 10 milijard datotek na enem samem sistemu v pičlih 43 minutah in s tem prejšnji rekord (milijardo datotek v treh urah) izboljšali za kar 37-krat.

Ta napredek omogoča združevanje podatkovnih okolij na eni platformi, namesto da so ta razporejena po številnih sistemih, ki jih je treba upravljati ločeno. Predstavljena rešitev obenem omogoča dramatično zmanjševanje in poenostavljanje opravil, povezanih z upravljanjem podatkov, kar omogoča hrambo večjih količin podatkov na isti tehnologiji, namesto da bi bilo treba vedno znova dokupovati dodatne pomnilnike.

Že leta 1998 so IBM-ovi raziskovalci predstavili izredno nadgradljiv gručni paralelni datotečni sistem, imenovan GPFS (General Parallel File System), ki so ga medtem še izboljšali in s tem omogočili ta izjemni napredek. Datotečni sistem GPFS je pomemben napredek pri povečevanju zmogljivosti in kapacitete, pri tem pa ohranja stroške upravljanja na enaki ravni. Ta inovacija bi lahko pomagala organizacijam pri spopadanju z eksplozivnim naraščanjem količin podatkov, transakcij ter digitalnih tipal in drugih naprav, ki so del sistemov za modrejši planet (Smarter Planet). GPFS je idealen za aplikacije, ki potrebujejo hiter dostop do velikih količin podatkov. Primer so aplikacije za rudarjenje podatkov pri ugotavljanju nakupovalnih navad kupcev, obdelava podatkov o seizmični aktivnosti, upravljanje tveganj in finančne analize, modeliranje vremena in znanstvene raziskave. Tokratni rekord je bil dosežen z uporabo datotečnega sistema GPFS, ki je tekel na gruči desetih sistemov z osmimi jedri in negibljivimi pomnilnimi mediji. Napredni algoritmi, vgrajeni v GPFS, omogočajo polno izkoriščanje vseh procesorjev in njihovih jeder skozi celotno opravilo (branje podatkov, razvrščanje in vrednotenje pravil).