¿Qué es AudioCraft, la nueva herramienta de IA de Meta?

AudioCraft es un programa de código abierto que crea efectos y música a partir de indicaciones de texto, similar a lo que hacen los generadores de imágenes o videos de IA. AudioCraft tiene tres modelos disponibles:

• MusicGen para componer música
• AudioGen para crear efectos de sonido
• EnCodec para ayudar con la compresión de audio

MusicGen era conocido anteriormente entre los creadores de música y los aficionados a la inteligencia artificial. Pero ahora Meta ha revelado el código de este modelo, que permite a los usuarios enriquecerlo con sus propios datos musicales. Es comprensible que surgieran inmediatamente cuestiones éticas y legales, ya que los editores de música denunciaron inmediatamente que la mayoría de las obras musicales de IA infringían la propiedad intelectual.

Meta declaró específicamente que solo creó el modelo predeterminado basado en la música propiedad de la empresa y su música con licencia. En concreto, utilizaron 20.000 horas de audio y 400.000 grabaciones junto con descripciones de texto y metadatos, todo ello bajo el paraguas de las plataformas Meta Music Initiative Sound Collection, Shutterstock y Pond5. También eliminaron todas las voces antes del lanzamiento, para evitar la imitación de las voces de los creadores.

El segundo modelo, AudioGen, está dedicado a crear sonidos ambientales y efectos de sonido. AudioGen es un modelo basado en difusión, como la mayoría de los generadores de imágenes modernos (DALL-E 2, Stable Diffusion...). En difusión, el modelo aprende cómo eliminar gradualmente el ruido de los datos iniciales que son completamente ruido, como audio o imágenes, y los acerca paso a paso al mensaje de destino.

Además de los efectos, AudioGen también se creó para generar voz, que Meta admite que algunos podrían utilizar indebidamente para falsificar voces. A pesar de las preocupaciones, al menos por ahora, no han impuesto restricciones específicas sobre las diversas formas en que se puede utilizar AudioCraft.

El tercer modelo, EnCodec, es una mejora del modelo anterior de Meta para crear música con menos artefactos. Meta afirma modelar secuencias de audio de manera más eficiente y capturar diferentes niveles de información al entrenar formas de onda de audio de datos para ayudar a crear audio nuevo.

Meta imaginó AudioCraft como una herramienta para músicos y creadores que pudieran crear nuevas composiciones sin tener que tocar instrumentos físicamente. También se dirigieron a desarrolladores con un presupuesto más limitado, que podrían usar AudioCraft para crear diferentes sonidos para mundos virtuales, y los creadores de Instagram/TikTok, por ejemplo, podrían crear los sonidos más apropiados para sus publicaciones.

Al menos por ahora, la licencia de AudioCraft no permite el uso comercial.

¿Cómo instalar y probar la herramienta AudioCraft AI?

El código está en Github y tienes varias opciones para la instalación. Puede utilizar el programa Pinokio (https://pinokio.computer) que instalará más o menos automáticamente la herramienta de música AI. Debes seleccionar el módulo AudioGradio de su biblioteca, instalarlo (lleva unos minutos) y terminarás con una IP local para probar AudioCraft.

Otros métodos requieren Python, Pip, Anaconda, minicondo o programas similares preinstalados. El usuario mberman84 publicó una guía buena y fácil de entender en GitHub (https://bit.ly/GHglasba) que se aplica al programa miniconda. El resultado final es el mismo. Obtendrás una IP que ingresas en tu navegador y podrás comenzar a experimentar.