Što je AudioCraft, novi AI alat pod Metom?

AudioCraft je program otvorenog koda koji stvara efekte i glazbu iz tekstualnih upita, slično onome što rade AI generatori slika ili videa. AudioCraft ima tri dostupna modela:

• MusicGen za skladanje glazbe
• AudioGen za stvaranje zvučnih efekata
• EnCodec za pomoć pri kompresiji zvuka

MusicGen je prije bio poznat među glazbenim kreatorima i AI hobistima. Ali sada je Meta otkrila kod za ovaj model, koji korisnicima omogućuje da ga obogate vlastitim glazbenim podacima. Razumljivo, odmah su se pojavila etička, ali i pravna pitanja, budući da su glazbeni izdavači većinu umjetničkih djela odmah prijavili kao kršenje intelektualnog vlasništva.

Meta je posebno izjavila da je stvorila samo zadani model temeljen na glazbi u vlasništvu tvrtke i njihovoj licenciranoj glazbi. Konkretno, koristili su 20.000 sati audio zapisa i 400.000 snimaka zajedno s opisima teksta i metapodacima, a sve pod okriljem platformi Meta Music Initiative Sound Collection, Shutterstock i Pond5. Također su uklonili sve vokale prije izdavanja, kako bi spriječili imitaciju glasova kreatora.

Drugi model, AudioGen, posvećen je stvaranju ambijentalnih zvukova i zvučnih efekata. AudioGen je model baziran na difuziji, poput većine modernih generatora slike (DALL-E 2, Stable Diffusion...). U difuziji, model uči kako inkrementalno ukloniti šumove iz početnih podataka koji su u potpunosti šum – kao što su zvuk ili slike – i pomiče ih korak po korak bliže ciljnom upitu.

Osim efekata, AudioGen je također stvoren za generiranje govora, za koji Meta priznaje da bi ga neki mogli zloupotrijebiti za lažiranje glasova. Unatoč zabrinutosti, barem za sada, nisu postavili posebna ograničenja na različite načine korištenja AudioCrafta.

Treći model, EnCodec, poboljšanje je Metinog prethodnog modela za stvaranje glazbe s manje artefakata. Meta tvrdi da učinkovitije modelira audio sekvence i hvata različite razine informacija prilikom uvježbavanja podatkovnih audio valnih oblika za pomoć u stvaranju novog zvuka.

Meta je zamislila AudioCraft kao alat za glazbenike i kreatore koji mogu stvarati nove skladbe bez potrebe za fizičkim sviranjem instrumenata. Također su ciljali na programere s ograničenijim budžetom, koji bi mogli koristiti AudioCraft za stvaranje različitih zvukova za virtualne svjetove, a kreatori Instagrama/TikToka, na primjer, mogli bi stvoriti najprikladnije zvukove za svoje objave.

AudioCraftova licenca barem za sada ne dopušta komercijalnu upotrebu.

Kako instalirati i testirati AudioCraft AI alat?

Kod je na Githubu, a imate nekoliko opcija za instalaciju. Možete koristiti program Pinokio (https://pinokio.computer) koji će više-manje automatski instalirati AI glazbeni alat za vas. Morate odabrati AudioGradio modul iz njihove knjižnice, instalirati ga (traje nekoliko minuta) i dobit ćete lokalnu IP adresu s kojom ćete testirati AudioCraft.

Druge metode zahtijevaju unaprijed instalirane Python, Pip, Anaconda, minicondo ili slične programe. Dobar i lako razumljiv vodič objavio je na GitHubu (https://bit.ly/GHglasba) korisnik mberman84 a odnosi se na program miniconda. Krajnji rezultat je isti. Dobit ćete IP koji unesete u preglednik i možete početi eksperimentirati.