导读：如今的AI技术发展堪称“very神奇”，文字、图片竟能一键直接生成逼真音效，嗯，妥妥都是因为TA，一款在语音音频领域“横空出世”的新模型：Make-An-Audio。
近期AIGC如同“上了热搜”一般，火热程度居高不下，当然除了名头格外响亮，突破也是绝对斐然：输入自然语言就可自动生成图像、视频甚至是3D模型，你说意不意外？
但在音频音效的领域，AIGC的“福利”似乎还差了一些。主要由于高自由度音频生成需要依靠大量文本-音频对数据，同时长时波形建模还有诸多困难。为了解决上述疑难，浙江大学与北京大学联合火山语音，共同提出了一款创新的、文本到音频的生成系统，即Make-An-Audio。TA可以将自然语言描述作为输入，而且是任意模态（例如文本、音频、图像、视频等）均可，同时输出符合描述的音频音效，广大网友很难不为其可控性以及泛化性点赞。
论文链接：
https://arxiv.org/abs/2301.12661
项目链接：
https://text-to-audio.github.io
短短两天，Demo视频在Twitter上获得了45K的播放量。
图1：研究团队公布的演示视频
2023年除夕后，以“Make-An-Audio”、 MusicLM等大量音频合成文章涌现，48小时内已经有4篇突破性的进展。
图2：网友评论1
广大网友们纷纷表示，AIGC音效合成将会改变电影、短视频制作的未来。
图3：网友评论2
图4：网友评论3
更有群众发出这样的感叹：“audio is all you need……”
图5：网友评论4
这样的听觉效果，难道你不爱吗？
研究团队已公布部分音频生成结果在工作的主页上：
https://text-to-audio.github.io，该模型除了可以一键生成大片音效以外，还可以做音频修复、图片生成音频以及视频配音等多种任务。
图6：音频修复（前）
图6：音频修复（后）
图7：图片转音频样例输入
图7：视频转音频样例输入
这款“网红”模型的内在技术原理究竟是？
深度解析“网红”模型的神奇内在，我们还要回到音频-自然语言对数据稀少的客观问题上，对此浙大北大联合火山语音团队共同提出了Distill-then-Reprogram文本增强策略，即使用教师模型获得音频的自然语言描述，再通过随机重组获得具有动态性的训练样本。
具体来说，在Distill环节中，使用音频转文本与音频-文本检索模型，找到语言缺失(Language-Free)音频的自然语言描述候选(Candidate)，通过计算候选文本与音频的匹配相似度，在阈值下取得最佳结果作为音频的描述。该方法具有强泛化性，且真实自然语言避免了测试阶段的域外文本。“在Reprogram环节中，我们从额外的事件数据集中随机采样，并与当前训练样本相结合，得到全新的概念组合与描述，以扩增模型对不同事件组合的鲁棒性。”研究团队表示。
图8：Distill-then-Reprogram文本增强策略框架图
如上图所示，自监督学习已经成功将图片迁移到音频频谱，利用了频谱自编码器以解决长音频序列问题，并基于Latent Diffusion生成模型完成对自监督表征的预测，避免了直接预测长时波形。
图9：Make-An-Audio模型系统框架图
此外在研究中团队还探索了强大的文本条件策略，包括对比式Contrastive Language-Audio Pretraining (CLAP)以及语言模型(LLM) T5， BERT等，验证了CLAP文本表征的有效与计算友好性。同时还首次使用CLAP Score来评估生成的音频，可以用于衡量文本和生成场景之间的一致性；使用主、客观相结合的评估方式，在benchmark数据集测试中验证了模型的有效性，展示了模型出色的零次样本学习(Zero-Shot)泛化性等。
图10：Make-An-Audio与基线模型主客观评测实验结果
神奇模型的应用前景知多少？
总体来看，Make-An-Audio模型实现了高质量、高可控性的音频合成，并提出了“No Modality Left Behind”，对文本条件音频模型进行微调(finetune)，即能解锁对任意模态输入的音频合成(audio/image/video)。
图11：Make-An-Audio首次实现高可控X-音频的AIGC合成，X可以是文本/音频/图像/视频
在视觉指导的音频合成上，Make-An-Audio以CLIP文本编码器为条件，利用其图像-文本联合空间，能够直接以图像编码为条件合成音频。
图12：Make-An-Audio视觉-音频合成框架图
可以预见的是，音频合成AIGC将会在未来电影配音、短视频创作等领域发挥重要作用，而借助Make-An-Audio等模型，或许在未来人人都有可能成为专业的音效师，都可以凭借文字、视频、图像在任意时间、任意地点，合成出栩栩如生的音频、音效。但现阶段Make-An-Audio也并不是完美无缺的，可能由于丰富的数据来源以及不可避免的样本质量问题，训练过程中难免会产生副作用，例如生成不符合文字内容的音频或有害的音频，所以哪怕Make-An-Audio在技术上被定位是“辅助艺术家生成”，但也可能出现创意内容被滥用的潜在风险，但可以肯定的一点，AIGC领域的进展确实令人惊喜。
火山语音，长期以来面向字节跳动各大业务线提供全球优势的AI语音技术能力以及全栈语音产品解决方案，包括音频理解、音频合成、虚拟数字人、对话交互、音乐检索、智能硬件等。自 2017 年成立以来，团队专注研发行业领先的 AI 智能语音技术，不断探索AI 与业务场景的高效结合，以实现更大的用户价值。目前其语音识别和语音合成已经覆盖了多种语言和方言，多篇技术论文入选各类AI 顶级会议，为抖音、剪映、飞书、番茄小说、Pico等业务提供了领先的语音能力，并适用于短视频、直播、视频创作、办公以及穿戴设备等多样化场景，通过火山引擎开放给外部企业。
（免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。 ）
