文本到音频生成

多机构联合开发的基于扩散模型的高性能文本到音频生成技术 Make-An-Audio 2由浙江大学、字节跳动、香港中文大学研究人员联合开发，是基于扩散模型的文本到音频生成技术。它借助预训练大语言模型解析文本，优化语义对齐与时间一致性，提升生成质量；设计前馈Transformer扩散去噪器，改善变长音频生成性能；还通过大语言模型转换标签数据，解决时间数据稀缺问题。