具身决策

连接视觉语言模型与策略模型的具身决策AI模型项目 ROCKET-1创新性提出视觉-时间上下文提示协议，打通视觉语言模型（VLMs）与策略模型的通信链路，利用过去和当前观测的对象分割结果指导策略与环境的交互，释放VLMs的视觉语言推理能力，可解决复杂创造性任务，尤其在空间理解领域表现突出。已在Minecraft环境完成验证，可完成此前具身代理无法实现的任务。