唇同步

支持自然语言控制的AI头像情感面部动作生成模型 InstructAvatar通过自然语言接口控制头像情感和面部动作，具备细粒度控制能力，提升了交互性，对生成视频有更好的泛化能力。它设计自动化注释流程构建指令-视频配对训练数据集，搭配新颖双分支扩散基础生成器，可同时根据音频和文本指令预测头像，多项指标优于现有同类方法。