Cos'è AudioCraft, il nuovo strumento AI di Meta?

AudioCraft è un programma open source che crea effetti e musica da istruzioni di testo, in modo simile a ciò che fanno i generatori di immagini o video AI. AudioCraft ha tre modelli disponibili:

• MusicGen per comporre musica
• AudioGen per creare effetti sonori
• EnCodec per aiutare con la compressione audio

MusicGen era precedentemente noto tra i creatori di musica e gli hobbisti dell'intelligenza artificiale. Ma ora Meta ha rivelato il codice di questo modello, che consente agli utenti di arricchirlo con i propri dati musicali. Comprensibilmente sono subito sorte questioni etiche e legali, poiché la maggior parte delle opere musicali basate sull'intelligenza artificiale sono state immediatamente segnalate dagli editori musicali come violazione della proprietà intellettuale.

Meta ha affermato specificamente di aver creato solo il modello predefinito basato sulla musica di proprietà dell'azienda e sulla musica concessa in licenza. Nello specifico, hanno utilizzato 20.000 ore di audio e 400.000 registrazioni insieme a descrizioni di testo e metadati, il tutto sotto l'egida delle piattaforme Meta Music Initiative Sound Collection, Shutterstock e Pond5. Hanno anche rimosso tutte le voci prima del rilascio, per impedire l'imitazione delle voci dei creatori.

Il secondo modello, AudioGen, è dedicato alla creazione di suoni ambientali ed effetti sonori. AudioGen è un modello basato sulla diffusione, come la maggior parte dei moderni generatori di immagini (DALL-E 2, Stable Diffusion...). Nella diffusione, il modello impara come eliminare in modo incrementale i dati iniziali che sono interamente rumore, come audio o immagini, e li sposta passo dopo passo più vicino al prompt di destinazione.

Oltre agli effetti, AudioGen è stato creato anche per generare parlato, che Meta ammette potrebbe essere utilizzato in modo improprio da alcuni per falsificare le voci. Nonostante le preoccupazioni, almeno per ora, non sono state poste restrizioni specifiche sui vari modi in cui è possibile utilizzare AudioCraft.

Il terzo modello, EnCodec, è un miglioramento rispetto al modello precedente di Meta per creare musica con meno artefatti. Meta afferma di modellare in modo più efficiente le sequenze audio e di acquisire diversi livelli di informazioni durante l'addestramento delle forme d'onda audio dei dati per aiutare a creare nuovo audio.

Meta ha immaginato AudioCraft come uno strumento per musicisti e creatori che potessero creare nuove composizioni senza dover suonare fisicamente gli strumenti. Hanno preso di mira anche gli sviluppatori con un budget più limitato, che potrebbero utilizzare AudioCraft per creare suoni diversi per i mondi virtuali, e i creatori di Instagram/TikTok, ad esempio, potrebbero creare i suoni più adatti per i loro post.

Almeno per ora, la licenza di AudioCraft non consente l'uso commerciale.

Come installare e testare lo strumento AI AudioCraft?

Il codice è su Github e hai diverse opzioni per l'installazione. Puoi utilizzare il programma Pinokio (https://pinokio.computer) che installerà più o meno automaticamente lo strumento musicale AI per te. Devi selezionare il modulo AudioGradio dalla loro libreria, installarlo (richiede alcuni minuti) e ti ritroverai con un IP locale con cui testare AudioCraft.

Altri metodi richiedono Python, Pip, Anaconda, minicondo o programmi simili preinstallati. Una guida buona e di facile comprensione è stata pubblicata su GitHub (https://bit.ly/GHglasba) dall'utente mberman84 e si applica al programma miniconda. Il risultato finale è lo stesso. Otterrai un IP che inserisci nel tuo browser e potrai iniziare a sperimentare.