视频扩散模型

基于多视图视频扩散模型的静态3D对象动画生成方案 Animate3D提出MV-VDM多视图视频扩散模型，基于大规模MV-Video数据集训练，依托该模型构建结合重建与4D得分蒸馏采样的生成框架，设计时空注意力模块增强时空一致性，通过多视图渲染保留原静态3D模型身份，采用两阶段流程生成动画，解决了传统方案一致性差、身份偏移的问题。

基于视频扩散微调的单图快速生成3D资产的AI模型 VFusion3D解决了3D生成领域训练数据获取困难、数量有限的核心痛点，通过微调视频扩散模型生成大规模合成多视角数据集，以此训练前馈3D生成模型，可实现单图快速生成3D资产。用户调研显示，超90%用户更偏好其生成结果，无需依赖大量真实采集数据即可完成训练。

基于视频扩散模型的高精度自动线稿动画上色AI模型 AniDoc依托视频扩散模型的先验知识，通过显式对应机制和注入模块，将参考图像颜色对齐到输入草图，解决传统上色的颜色偏差问题。采用两阶段训练策略，减少绘制中间帧的工作量，搭配二值化草图处理与数据增强技术，提升模型训练稳定性。在测试中表现优异，为自动线稿视频上色提供可行方案，提升动画生产效率。

Meta推出的整合掩码自回归优势的高效视频扩散生成模型 MarDini是Meta AI Research开发的视频扩散模型，创新性地将掩码自回归的优势整合进统一扩散模型框架，可基于任意数量的掩码帧在任意帧位置完成生成，支持视频插值、图转视频、视频扩展等任务。它优化算力分配，让大规模时空注意力计算得以实现，在视频插值任务上建立了新的性能标杆，仅需几次推理就能生成媲美高阶模型的效果，效率优势明显。

基于视频扩散模型的机器人策略，可准确预测未来图像序列 Video Prediction Policy（简称VPP）是基于视频扩散模型的机器人策略，借助预测性视觉表示反映物理世界演变，结合多样化人机操控数据集，采用统一视频生成训练目标训练。经测试，VPP在模拟、真实世界两类基准测试中性能均优于现有同类方案，多个经典测试任务实现超28%的性能提升。