编辑评分 100/100
网站简介
港科大等高校团队开发的3D感知视频生成控制扩散模型 Diffusion as Shader(DaS)是创新视频生成控制模型,依托3D感知扩散流程实现多样化视频生成控制。该模型以3D跟踪视频作为控制输入,在统一架构下支持网格转视频、相机控制、运动迁移等多种任务,依托3D感知能力提升生成视频的时间一致性,仅需少量数据短时间微调即可实现良好控制效果,由香港科技大学等多所高校团队联合开发。
在中文导航的收录体系中,Diffusion as Shader归入AI视频分类,页面上方提供直达官网的入口,下方列出了同分类的站点,方便横向对比后决定要不要收藏。
上方大图是Diffusion as Shader官网页面的实拍快照,栏目布局与视觉风格一目了然;点击图片可放大细看,觉得合适再从页面顶部的入口跳转官网,避免盲点开陌生站点。
核心功能
3D感知生成
基于3D感知扩散流程搭建,可捕捉空间几何信息与运动逻辑,有效提升生成视频的空间合理性与内容真实度,降低画面畸变概率。
网格转视频
支持以3D网格模型作为控制输入,自动生成对应物体、场景的动态视频内容,无需手动逐帧制作动态效果,提升3D内容落地效率。
相机视角控制
可通过设置相机参数、运动轨迹控制生成视频的拍摄视角、运镜逻辑,满足不同叙事需求下的视频画面呈现,适配多场景创作。
运动迁移能力
支持将参考视频中的物体运动、人物动作迁移到目标生成内容上,快速复刻特定运动效果,降低动态内容创作的重复工作量。
统一架构支撑
在同一技术架构下支持多种视频生成控制任务,无需切换不同模型处理不同需求,简化操作流程,降低多任务处理的技术门槛。
时间一致性优化
依托3D感知能力强化生成视频的时间连贯性,减少长视频生成中出现的画面跳变、物体穿模等问题,提升成片的整体质量。
轻量化微调
仅需少量自定义数据即可完成短时间微调,快速适配特定风格、特定领域的内容生成需求,降低定制化使用的训练成本。
使用指南
- 1
访问https://igl-hkust.github.io/das进入Diffusion as Shader官网,查看模型介绍、技术文档与效果演示,确认工具是否符合自身需求。
- 2
按照官方指引获取模型部署包与相关依赖,参考文档完成本地环境或云服务器的部署配置。
- 3
准备符合要求的3D控制素材,包括3D网格模型、相机运动参数、参考运动视频等。
- 4
上传控制素材,设置生成分辨率、时长、风格等参数,启动视频生成任务。
- 5
生成完成后预览效果,若有定制需求可准备自定义数据完成模型微调,导出符合要求的视频文件。
优势亮点
由香港科技大学等高校专业团队联合研发,3D感知相关技术能力处于行业前沿,生成效果的空间合理性优于普通2D视频生成模型。
同一架构支持网格转视频、相机控制、运动迁移等多种任务,可覆盖多数3D相关视频生成场景,无需额外搭配其他工具使用。
支持轻量化微调,用户无需准备大规模训练数据即可适配个性化需求,降低中小团队、个人创作者定制使用的技术与资源门槛。
针对性优化了视频时间一致性问题,长视频生成的画面连贯性表现突出,可有效减少后期内容调整的工作量,提升生产效率。
编辑推荐
Diffusion as Shader是当前3D视频生成领域的代表性学术成果,区别于普通2D视频生成工具,其核心优势在于3D感知能力带来的空间合理性与时间连贯性,尤其适合有3D相关视频生成需求的专业创作者与技术团队使用,可大幅降低动态3D内容的生产门槛。
常见问题
深度了解
Diffusion as Shader(简称DaS)是由香港科技大学等多所高校团队联合研发的3D感知视频生成控制扩散模型,属于AIGC视频生成领域的前沿技术项目,官网地址为https://igl-hkust.github.io/das。该模型打破了传统视频生成工具仅能处理2D信息的局限,将3D感知能力融入扩散流程,可有效提升生成内容的空间逻辑合理性与时间连贯性。
核心功能层面,Diffusion as Shader在统一架构下支持多种视频生成控制任务,包括网格转视频、相机视角控制、运动迁移等,用户仅需提供对应的3D控制素材即可实现不同需求的内容生成,无需切换多个模型处理不同任务。同时模型支持轻量化微调,仅需少量自定义数据即可适配特定风格、特定领域的生成需求,降低定制化使用的训练成本。
使用流程上,普通用户可直接访问官网查看技术说明与效果演示,专业用户可根据官方文档完成模型部署,上传3D网格、跟踪数据等控制素材后即可启动生成,生成完成后可直接导出视频文件,也可根据需求微调模型优化生成效果。
该工具主要面向影视制作从业者、VR内容开发者、AI技术研究人员与3D内容创作者,可应用于虚拟场景动态化、特殊镜头生成、虚拟空间内容制作、3D模型动态展示等多个场景。相较于普通2D视频生成工具,Diffusion as Shader在3D相关内容的生成质量上优势明显,可有效减少画面跳变、物体穿模等常见问题,适合对视频空间合理性、连贯性有较高要求的专业场景使用。
使用须知
资料由中文导航编辑部整理并经健康检测核验,定期复查更新。
本页信息核对于 2026/11/14,收录信息以收录当日官网状态为准,如发现内容过期请通过下方反馈告知。
访问第三方网站时,请注意以下事项:
- 谨慎提供个人账号、密码和支付信息
- 下载文件前确认来源安全,警惕诱导性广告
- 涉及版权素材使用时,请核实授权范围
- 如遇网站无法访问或内容异常,可反馈给我们
帮助我们维护准确的收录数据,纠错会进入编辑复核队列
用过Diffusion as Shader?说说你的真实体验
你的点评会帮助更多人选型避坑——匿名发表,无需注册,30 秒即可完成
用户评价
还没有评分
成为第一个评价 Diffusion as Shader 的人
我的评分
随下方评论一并提交
热度数据
按站内点击统计2
站内总点击
#-
同类排名 / 300 站
1
同类点击中位数