零样本学习

Meta FAIR推出的首款支持零样本学习的行为基础模型 Meta Motivo是Meta FAIR开发的首款行为基础模型，采用新颖无监督强化学习算法预训练，用于控制复杂虚拟人形代理完成全身任务。该模型可通过提示零样本解决未见过的动作跟踪、姿势达到等任务，无需额外微调，输出行为鲁棒性强，官方开源预训练模型与训练代码，支持社区开展相关研究。

学界业界联合开发的零样本图像反转编辑技术工具 RF-Inversion由德克萨斯大学奥斯汀分校与谷歌研究人员联合开发，无需额外训练、潜在优化、提示调整即可实现高效图像反转与编辑，零样本场景下表现优于同类过往方案，在笔画转图像合成、语义图像编辑领域经大规模人类评估验证，获得用户偏好认可，项目获NSF资助及相关研究奖项支持。

面向图像处理的扩散模型框架，提升模型零样本任务泛化能力 PromptFix是一款针对图像处理的扩散模型优化框架，通过构建大规模指令遵循数据集，采用高频引导采样方法控制模型去噪过程，设计辅助提示适配器，借助视觉语言模型增强文本提示效力。相较于传统图像处理模型，该框架在多种图像处理任务中性能更优，在盲恢复、组合类图像处理任务中具备更出色的零样本能力。

基于扩散自蒸馏的图像生成技术，无需大量配对数据完成模型微调 Diffusion Self-Distillatio是面向图像生成领域的扩散自蒸馏技术项目，可依托预训练文生图模型，在无大量配对训练数据的情况下生成自定义数据集，用于微调模型完成文本、图像条件的图生图任务。该技术在身份生成任务上性能超越现有零样本方法，效果可媲美单实例调优技术，无需测试阶段优化。

创新零样本文本转语音模型，无需显式对齐与音素时长预测 MaskGCT是面向零样本场景的创新文本到语音转换模型，通过消除显式对齐信息与音素级持续时间预测需求，解决了传统自回归、非自回归TTS系统的固有问题。模型采用两阶段架构，先预测语音SSL模型提取的语义标记，再生成声学标记，遵循掩码预测范式，推理时并行生成标记，表现优于现有主流零样本TTS系统。

基于属性分解生成的AI语音合成研究项目，提升合成质量与相似度 NaturalSpeech 3是聚焦语音合成质量提升的AI研究项目，区别于传统耦合式语音合成方案，该项目通过分解语音内容、韵律、音色、声学细节等不同属性，对各属性分别生成。项目设计搭载分解向量量化（FVQ）的神经编解码器实现语音波形解耦，同时提出分解扩散模型，可根据对应提示生成各子空间的语音属性。

基于SAM的通用零样本目标跟踪模型，不依赖特定领域标注数据集 传统目标跟踪模型高度依赖特定领域标注视频数据集，小众复杂领域落地成本高。MASA依托Segment Anything Model（SAM）的通用对象分割能力，学习实例级对应关系，设计通用适配器可对接现有分割、检测模型，实现零样本跟踪，无需标注即可适配复杂领域，降低跨领域落地门槛。

基于SAM 2的视觉跟踪模型，适配快速移动自遮挡目标跟踪 SAMURAI是基于Segment Anything Model 2开发的视觉对象跟踪模型，专为处理快速移动、存在自遮挡的复杂跟踪场景设计。该模型引入时间运动线索与运动感知记忆选择机制，可预测对象运动并优化掩膜选择，无需重新训练或微调即可实现鲁棒跟踪，可实时运行，在多个公开基准数据集上性能优于现有同类跟踪器。

基于扩散模型的零样本人类图像动画生成技术，支持动作表情迁移 X-Dyna是创新零样本人类图像动画生成技术，可将驱动视频的面部表情、身体动作迁移至单张人类图像，生成逼真动态效果。该技术基于扩散模型，通过自研Dynamics-Adapter模块整合参考外观上下文，同时保留运动模块合成复杂动态细节的能力，可同时实现精准的身体姿态控制与表情传递。

基于扩散模型的视频编辑技术，支持零样本精细内容控制 VideoGrain是针对视频编辑开发的基于扩散模型的技术方案，解决了传统编辑方法中存在的语义对齐、特征耦合问题，可实现对视频内容的精细控制。具备零样本编辑、高效文本到区域控制、特征分离等能力，适配复杂视频编辑需求，可应用于影视后期、广告制作等场景，有效提升编辑效率与成品质量。

达摩院推出的零样本对象级定制图像生成AI模型 AnyDoor一次训练即可适配不同对象与场景组合，无需针对单个对象调整参数。通过身份+细节双特征设计，保留纹理同时兼容光照、姿势等局部变化，还借用视频数据集知识提升模型泛化能力，在虚拟试穿、物体迁移等场景性能优于同类方法。

连接视觉语言模型与策略模型的具身决策AI模型项目 ROCKET-1创新性提出视觉-时间上下文提示协议，打通视觉语言模型（VLMs）与策略模型的通信链路，利用过去和当前观测的对象分割结果指导策略与环境的交互，释放VLMs的视觉语言推理能力，可解决复杂创造性任务，尤其在空间理解领域表现突出。已在Minecraft环境完成验证，可完成此前具身代理无法实现的任务。

计算机视觉AI部署平台，可秒级部署迭代模型，省去数据训练成本 该平台总部位于纽约，获得风投支持，主打计算机视觉模型快速部署服务，无需用户自行完成训练数据组装、标注、模型训练微调等繁琐步骤，可在几秒钟内完成模型部署与迭代，依托零样本学习与无代码能力，降低计算机视觉AI落地门槛，改变AI在现实场景的应用模式。

可生成自由形式交叉内容的创新多模态大语言模型 不同于常规多模态模型依赖CLIP等外部特征提取器，DreamLLM直接在原始多模态空间采样生成后验模型，避免了外部提取带来的限制与信息损失，可实现更全面的多模态理解。它可建模多类型多模态分布，是首个能生成自由形式交叉内容的MLLM，零样本多模态任务表现优异

依托参考图实现零样本编辑的创新AI图像编辑模型 MimicBrush是基于扩散先验开发的创新图像编辑模型，区别于传统需微调的图像编辑方案，它仅需要用户指定源图像编辑区域，搭配一张普通野外参考图，即可自动捕捉两者语义对应关系，一次性完成零样本图像编辑，经实验验证多场景下表现优于同类模型。

基于扩散模型的AI视频编辑工具，支持文本驱动编辑保留原视频结构 Slicedit是基于扩散模型的文本驱动AI视频编辑工具，不同于传统手动编辑与同类AI方案，它可按照用户文本描述修改视频内容，同时保留原始视频的原有结构与运动信息，保障时序一致性，支持零样本编辑真实世界视频，经公开实验验证，在真实场景视频编辑中效果优于同类方案。