Meta下的新AI工具AudioCraft是什么？

AudioCraft je odprtokodni program, ki ustvarja učinke in glasbo iz besedilnih pozivov, podobno kot to počno AI generatorji slik ali videoposnetkov. AudioCraft ima na voljo tri modele:

• MusicGen za komponiranje glasbe
• AudioGen za ustvarjanje zvočnih učinkov
• EnCodec za pomoč pri kompresiji zvoka

MusicGen je bil prej že poznan med ustvarjalci glasbe in AI hobijisti. Ampak sedaj je Meta razkrila kodo za ta model, kar uporabnikom omogoča, da ga obogatijo s svojimi glasbenimi podatki. Razumljivo so se takoj pojavila etična in tudi pravna vprašanja, kajti večino AI glasbenih del so glasbeni založniki takoj prijavili kot kršenje intelektualne lastnine.

Meta je izrecno navedla, da je privzeti model ustvarila le na podlagi glasbe v lasti podjetja in njihove licenčne glasbe. Natančneje: uporabili so 20.000 ur zvoka in 400.000 posnetkov skupaj z besedilnimi opisi in metapodatki, vse pod okriljem platform Meta Music Initiative Sound Collection, Shutterstock in Pond5. Prav tako so pred izdajo odstranili vse vokale, s čimer naj bi preprečili posnemanje glasov ustvarjalcev.

Drugi model, AudioGen, je namenjen ustvarjanju okoljskih zvokov in zvočnih učinkov. AudioGen je model, ki temelji na difuziji, tako kot večina sodobnih generatorjev slik (DALL-E 2, Stable Diffusion …). Pri difuziji se model nauči, kako postopoma odvzeti šum od začetnih podatkov, ki so v celoti sestavljeni iz šuma – na primer zvoka ali slik – in ga tako korak za korakom premika bližje ciljnemu pozivu.

Poleg učinkov je bil AudioGen ustvarjen tudi za generiranje govorov, kar Meta priznava, da bi lahko nekateri zlorabili za ponarejanje glasov. Kljub pomislekom pa vsaj za zdaj niso postavili posebnih omejitev glede na različne načine uporabe aplikacije AudioCraft.

Tretji model, EnCodec, je izboljšava predhodnega Metinega modela za ustvarjanje glasbe z manj artefakti. Meta trdi, da učinkoviteje modelira zvočna zaporedja in zajema različne ravni informacij pri usposabljanju podatkovnih zvočnih valovnih oblik za pomoč pri ustvarjanju novega zvoka.

Meta si je AudioCraft zamislila kot orodje za glasbenike in ustvarjalce, ki bi lahko ustvarjali nove skladbe, ne da bi jim bilo potrebno fizično igrati na inštrumente. Ciljali so tudi na razvijalce z bolj omejenim proračunom, ki bi lahko z AudioCraft ustvarili različne zvoke za virtualne svetove, Instagram/TikTok ustvarjalci pa na primer ustvarili najbolj primerne zvoke za svoje objave.

Vsaj za zdaj pa licenca AudioCraft ne dovoljuje uporabe za komercialne namene.

Kako namestiti in preizkusiti AI orodje AudioCraft?

Koda se nahaja na Githubu, za namestitev pa imate več možnosti. Uporabite lahko program Pinokio (https://pinokio.computer), ki vam bo bolj ali manj samodejno namestil AI glasbeno orodje. V njihovi knjižnici morate izbrati modul AudioGradio, ga namestiti (traja nekaj minut) in na koncu boste dobili lokalni IP, s katerim boste lahko preizkusili AudioCraft.

Drugi načini zahtevajo prednameščen Python, Pip, Anacondo, minicondo ali podobne programe. Dober in enostavno razumljiv vodič je na GitHubu (https://bit.ly/GHglasba) objavil uporabnik mberman84 in velja za program miniconda. Končni rezultat je enak. Dobili boste IP, ki ga vnesete v svoj brskalnik in začnete lahko z eksperimentiranjem.