用文本生成音乐,Meta发布开源AI工具AudioCraft | 最前线
作者 | 虞景霖
编辑 | 邓咏仪
美东时间8月2日,Meta发布了一款开源人工智能(AI)工具AudioCraft,可以根据用户给出的文本提示创作音频和音乐。
相较于AI在生成图像、视频、文本的应用,AI生成音乐领域的发展相对落后。这是由于生成高质量的音频需要对不同类型的信号、模块进行不同层级的建模,加上该领域开源的代码较少,可以说是AI生成内容中最具挑战性的领域。
本次AudioCraft以开源的形式进行发布,目的也是为了能够让“研究人员和从业人员能够使用自己的数据集训练自己的模型,减少由于训练数据的局限性带来的偏误,推动AI生成音乐或音频的发展。”
AudioCraft包括AudioGen、EnCodec(改进版)和MusicGen三个核心部件。通过MusicGen和AudioGen,AudioCraft可以将用户给出的文本指令转变为任何类型的音频或者音乐,再由EoCodec(改进版)进行优化。
AudioGen是一个AI生成音频模型。它能够扩展现有音频,或者通过文本提示生成音频,例如生成狗叫声、汽车喇叭声或者木地板上的脚步声。此外,AudioGen还能从声学角度区分不同对象的声音,对其进行分类。Meta使用公开的音效素材对该模型进行训练。
EnCodec(改进版)是一个基于神经网络的音频压缩解码器,能够帮助用户生成人工痕迹更少、更高质量的音乐,还能对音频文件进行无损压缩。
MusicGen是Meta在今年6月初推出的开源AI模型,能够根据文本提示生成音乐。Meta使用自有或经过授权的音乐对其进行训练,累计使用约40万个音频及文本素材,训练总时长超过20000小时。
MusicGen和AudioGen生成音频/音乐
尽管Meta使用了多个音频素材对模型进行训练,但Meta也承认,用于训练AudioCraft的数据集缺乏多样性,素材大多为西式音乐,且使用的文本提示语言仅限于英语。通过AudioCraft生成的音乐质量尚不足以取代专业人士制作的商用音乐。
Meta本次采取的策略类似于此前发布Llama 2大语言模型——无需商业授权即可使用。因此,AudioCraft的开源发布可能可以吸引大量用户,而不仅只是那些对文本生成音频感兴趣的用户,扩大Meta的知名度。
根据Meta的FAIR团队介绍,与早期文本生成音频的AI模型相比,AudioCraft大大简化了生成流程。用户能够使用AudioGen和MusicGen进行音频生成,甚至可以从头开始开发自己的文本生成音频模型。
Meta并不是第一家AI生成音乐的公司。此前,OpenAI曾在2020年推出AI音乐生成器Jukebox,谷歌在今年发布的音乐生成模型MusicLM,其他常见的类似模型还有Riffusion、Mousai和Noise2Music等。