视频插值

基于DensePose实现对话视频跳切平滑处理的技术项目 该项目针对对话视频剪辑后的跳切痛点，依托DensePose关键点、面部标志生成中级表示，融合多源帧信息，通过插值关键点、图像转换合成自然像素，搭配跨模态注意力机制解决关键点误差问题，效果优于传统视频插值基准，可应对头部剧烈移动等复杂场景，实现无缝过渡。

Meta推出的整合掩码自回归优势的高效视频扩散生成模型 MarDini是Meta AI Research开发的视频扩散模型，创新性地将掩码自回归的优势整合进统一扩散模型框架，可基于任意数量的掩码帧在任意帧位置完成生成，支持视频插值、图转视频、视频扩展等任务。它优化算力分配，让大规模时空注意力计算得以实现，在视频插值任务上建立了新的性能标杆，仅需几次推理就能生成媲美高阶模型的效果，效率优势明显。

基于分数扩散的通用视频处理模型，采用非递归2D卷积架构 MCVD是面向视频生成、预测与插值的通用扩散模型，采用基于分数的扩散损失函数，训练阶段随机掩码过往/未来帧，可支持无条件生成、未来预测、过去重建、插值四类任务。模型采用2D卷积U-Net架构，能生成任意长度高质量多样化视频，多任务表现达到SOTA水平，训练硬件要求低且支持多通道扩展。