说唱视频生成

基于音频生成表情自然唇同步的高质量说唱视频的AI项目 VividTalk是一款AI说唱视频生成技术，采用两阶段通用框架，第一阶段将音频映射到网格，分别处理非刚性表情运动与刚性头部运动，搭配可学习头部姿势码本，第二阶段通过双分支运动VAE合成高质量视频，效果优于以往同类SOTA模型，代码将在发表后公开。