文本到音频

开源高效文本到音频生成模型，速度快性能领先 TangoFlux是参数规模515M的文本到音频生成模型，相较于同类模型，它生成速度更快，单A40 GPU仅需3.7秒即可生成长达30秒的44.1kHz高质量音频。它创新性提出CRPO框架解决了文本到音频模型对齐难题，在多项基准测试中取得了领先性能，所有代码与模型均开源开放，支持相关领域研究推进。

轻量可控AI音频生成模型，支持结合控制信号与文本提示生成声音 Sketch2Sound是一款可控AI音频生成模型，可基于可解释时间变化控制信号（响度、亮度、音高）搭配文本提示生成高质量音频。该模型可适配文本到音频潜在扩散变换器架构，仅需40k步微调，每个控制对应单个线性层，比ControlNet更轻量，可兼顾文本语义与控制精度，支持声音创作者灵活创作。