控制任务

港科大等高校团队开发的3D感知视频生成控制扩散模型 Diffusion as Shader（DaS）是创新视频生成控制模型，依托3D感知扩散流程实现多样化视频生成控制。该模型以3D跟踪视频作为控制输入，在统一架构下支持网格转视频、相机控制、运动迁移等多种任务，依托3D感知能力提升生成视频的时间一致性，仅需少量数据短时间微调即可实现良好控制效果，由香港科技大学等多所高校团队联合开发。