视觉语言模型

基于LLaVA构建的多参数规模多模态视觉语言模型项目 MiniGemini是基于LLaVA搭建的多模态视觉语言模型，采用双视觉编码器结构，分别输出低分辨率视觉嵌入与高分辨率候选区域，通过补丁级信息挖掘融合图文信息。支持2B到34B参数的密集型、MoE两类大语言模型，同时具备图像理解、推理、生成能力，可通过多个主流视觉理解基准测试，适配不同规模大模型底座需求。

面向自动驾驶的视觉语言模型，提升复杂长尾场景理解能力 DriveVLM是清华大学Mars实验室推出的自动驾驶领域视觉语言模型，通过场景描述、场景分析、分层规划的推理模块组合，强化对复杂、长尾驾驶场景的理解能力。针对现有视觉语言模型空间推理不足、算力需求高的痛点，推出混合架构DriveVLM-Dual，结合DriveVLM与传统自动驾驶流程优势，已在公开数据集验证并完成量产车部署。

MIT CSAIL开发的提升AI模型解释性的自动化分析系统 本项目是麻省理工学院计算机科学与人工智能实验室CSAIL开发的自动化系统，专注于解决AI模型解释性不足的问题。不同于传统依赖人工的AI解释分析流程，MAIA依托视觉-语言模型支撑，搭配配套实验工具，可自动完成从假设生成、实验设计到迭代分析的全流程，输出对神经网络内部运作机制的深度洞察。

面向图像处理的扩散模型框架，提升模型零样本任务泛化能力 PromptFix是一款针对图像处理的扩散模型优化框架，通过构建大规模指令遵循数据集，采用高频引导采样方法控制模型去噪过程，设计辅助提示适配器，借助视觉语言模型增强文本提示效力。相较于传统图像处理模型，该框架在多种图像处理任务中性能更优，在盲恢复、组合类图像处理任务中具备更出色的零样本能力。

含万级人工标注视频的大规模实景三维视觉研究数据集 DL3DV-10K是面向计算机视觉研究的大规模实景数据集，包含超过10000个高质量实景视频，所有视频均经过人工标注场景关键点与复杂程度，同步提供相机姿态、NeRF估计深度、点云、3D网格等配套衍生数据，可支撑多方向三维视觉领域研究。

基于视觉语言模型的多模态文档检索工具，简化传统检索流程 不同于传统文档检索需先通过OCR提取文本再检索的流程，VARAG直接将文档页面作为图像嵌入，采用视觉语言模型完成内容编码，保留文档完整视觉信息，可处理包含复杂图文、公式、图表的混合内容，解决传统方案易丢失视觉信息的问题，提升检索的准确性与处理效率。

优化空间一致性的文本转图像AI模型及专用数据集 SPRIGHT是针对文生图领域空间一致性不足问题推出的AI模型及配套数据集。项目通过重新标注600万张图像构建专属数据集，大幅增加描述中的空间短语维度，再基于含大量物体的样本完成微调，优化生成图像的空间关系准确性，目前在多个基准测试中空间一致性达当前最优水平，同时提升了生成图像的质量。

基于CLIP的降级感知图像恢复项目，提升图像重建保真度 DA-CLIP通过训练额外控制器，让固定CLIP图像编码器输出高质量特征嵌入，整合进图像恢复网络实现高保真重建。控制器可输出匹配真实损坏的降级特征，自然形成不同降级类型分类器，无需额外分类模块，采用混合降级数据集训练，兼顾特定与统一图像恢复任务性能。

针对机器人复杂长期任务的多模态视觉规划算法项目 Video Language Planning（简称VLP）是一款面向机器人任务的视觉规划算法，通过训练视觉语言模型与文本到视频模型实现能力输出。该算法接收长期任务指令与当前图像观察作为输入，输出包含视频、语言的详细多模态规划，可覆盖多物体重排、多摄像头双臂操作等多类机器人领域，生成规划可转化为真实机器人动作，相较于传统方法显著提升长期任务完成成功率。

基于大规模合成数据训练的可定量空间推理的视觉语言模型 针对现有视觉语言模型定量空间推理能力不足的问题，通过大规模合成数据训练，使模型获得类人直观的定量空间推理能力，提升了空间VQA任务的表现，同时为链式空间推理、机器人控制等下游空间类任务提供技术支撑，拓展了多模态AI的应用边界。

基于InternLM2的可定制高性能多模态视觉语言大模型 该模型采用创新的部分LoRA（PLoRA）方法，仅给图像标记添加额外参数，保留完整预训练语言知识，平衡了精准视觉理解与高质量文本生成。基于InternLM2-7B训练，多项基准测试性能优于同类模型，部分指标追平甚至超越GPT-4V和Gemini Pro，7B参数模型已公开获取。

含创新指标的视觉语言模型多模态能力评估基准 MMStar汇集1500个经人工审查的视觉语言样本，覆盖6项核心多模态能力、18个细分评估维度。样本筛选严格控制视觉依赖性，最小化数据泄露问题，要求模型具备高级多模态能力才能完成测试。不同于传统基准仅统计准确率，MMStar新增两类专项指标，可衡量数据泄露影响与多模态训练的实际性能增益，帮助研究者定位模型潜在缺陷。

基于LLaVA构建的多模态视觉语言模型，支持多参数LLM双视觉编码 MiniGemini是一款多模态视觉语言模型，支持2B到34B参数的密集型与MoE大型语言模型。它基于LLaVA构建，采用双视觉编码器输出低分辨率视觉嵌入与高分辨率候选区域，通过补丁信息挖掘融合图文信息，支持图像理解、推理与生成任务，已在多个主流视觉基准测试验证。

Google Gemma家族第二代视觉语言模型，支持便捷微调适配多类视觉任务 基于Gemma 2构建的Gemma家族第二代视觉语言模型，提供3B、10B、28B三种参数尺寸，以及224px、448px、896px三种输入分辨率，可适配不同算力与任务需求。在化学公式识别、乐谱识别、空间推理、医学胸片报告生成等细分领域具备领先性能，可作为原PaliGemma的即插即用升级方案，多数任务无需大幅修改代码即可获得性能提升。