情感控制

基于自然语言控制的AI头像生成模型，支持细粒度情感动作调控 InstructAvatar是一款可通过自然语言接口控制头像情感与面部动作的AI生成模型，设计了自动化注释流程构建指令-视频配对训练数据集，搭载新颖双分支扩散基础生成器，可同时根据音频、文本指令预测生成头像。相较于现有同类方法，该模型在细粒度情感控制、唇同步质量与生成自然度方面表现更优。

创新零样本文本转语音模型，无需显式对齐与音素时长预测 MaskGCT是面向零样本场景的创新文本到语音转换模型，通过消除显式对齐信息与音素级持续时间预测需求，解决了传统自回归、非自回归TTS系统的固有问题。模型采用两阶段架构，先预测语音SSL模型提取的语义标记，再生成声学标记，遵循掩码预测范式，推理时并行生成标记，表现优于现有主流零样本TTS系统。

首个生产级开源智能语音交互框架，支持多维度精细语音控制 Step-Audio是首个生产级开源智能语音交互框架，整合语音理解与生成两大核心能力，核心技术包含130B参数多模态模型、生成式数据引擎、精细语音控制与增强智能。支持多语言对话、情感语调、方言、语速与韵律风格控制，通过开放开源模型工具，适配多种语音应用场景。

支持自然语言控制的AI头像情感面部动作生成模型 InstructAvatar通过自然语言接口控制头像情感和面部动作，具备细粒度控制能力，提升了交互性，对生成视频有更好的泛化能力。它设计自动化注释流程构建指令-视频配对训练数据集，搭配新颖双分支扩散基础生成器，可同时根据音频和文本指令预测头像，多项指标优于现有同类方法。