多模态大语言模型

面向多模态大模型的视频能力评估基准，填补连续视觉数据评估空白 当前针对多模态大语言模型（MLLMs）的评估多聚焦静态图像，对连续视觉数据处理能力的评估存在方法空白。Video-MME作为专门的基准测试平台，填补了这一缺口，覆盖不同时长的视频内容，针对MLLMs处理连续视觉信息的核心能力开展标准化评估，为相关领域研究者提供高质量的评估支撑。

基于指令调优的大规模多模态推理平台，提升多模态大模型推理性能 MAmmoTH-VL针对多模态大语言模型推理能力不足的痛点，基于开放模型构建了包含1200万指令-响应对的大规模数据集，覆盖多样化推理密集型任务，附带详细推理理由。经指令调优后，多模态大模型在MathVerse、MMMU-Pro等多个权威基准测试取得最先进性能，侧重服务教育与AI研究领域。

支持动态条件组合的多条件文本到图像合成AI框架 该框架针对多条件文本到图像生成任务，通过动态组合不同类型、数量的控制信号完成图像合成。框架先通过双循环控制器结合预训练生成、判别模型生成初始条件分数排序，再借助多模态大语言模型优化排序，联合优化MLLM与扩散模型，最终通过并行多控制适配器调节ControlNet增强生成控制，可自适应不同条件需求。