编辑评分 95/100
网站简介
面向多模态大语言模型的开源扩展架构，融入稀疏Top-K门控MoE块 CuMo是多模态大型语言模型的扩展架构，通过在视觉编码器、MLP连接器融入稀疏Top-K门控专家混合块，提升模型可扩展性，推理阶段几乎不增加激活参数。预训练后初始化MoE专家，视觉指令调优采用辅助损失保证专家负载均衡，基于全开源数据集训练，在VQA、视觉指令遵循基准测试中性能超越同类模型。
核心功能
稀疏MoE块融合
在视觉编码器与MLP连接器融入稀疏Top-K门控MoE块，提升多模态模型可扩展性
均衡专家负载
预训练后初始化MoE专家，视觉调优引入辅助损失保证各专家负载均衡
低推理开销
推理过程中几乎不增加额外激活参数，有效控制整体推理计算成本
基准性能领先
在各类VQA与视觉指令遵循基准测试中，性能超越同级别同类模型
全开源训练
完全基于公开开源数据集完成训练，技术成果开放供AI领域研究使用
使用指南
- 1
用户可访问CuMo官方项目页面
- 2
获取项目相关的开源论文、技术文档与代码资源。AI研究人员可基于CuMo架构改造现有多模态大语言模型
- 3
也可复现项目论文中的实验结果验证架构性能
- 4
开发使用需遵循项目的开源协议。
优势亮点
提升多模态模型可扩展性
推理几乎不增加额外激活参数
多项基准测试性能超越同类
全开源训练开放研究
编辑推荐
CuMo针对多模态大语言模型可扩展性提升的痛点，提出了创新的MoE融合方案，在控制推理成本的前提下实现了性能提升，思路兼具创新性与实用性。项目基于全开源数据集训练，技术方案公开，为多模态大模型架构优化提供了优质参考，值得相关研究者关注。
常见问题
深度了解
CuMo是一款面向多模态大型语言模型的开源扩展架构，针对多模态大模型的可扩展性优化需求设计，核心创新是在视觉编码器与MLP连接器中融入稀疏Top-K门控专家混合（MoE）块。不同于传统MoE多模态架构，CuMo在提升模型可扩展性的同时，推理阶段几乎不增加额外的激活参数，有效控制了推理成本。CuMo采用预训练加指令调优的训练流程，预训练完成后初始化MoE块专家，调优阶段引入辅助损失保证专家负载均衡，避免训练失衡问题。该架构完全基于开源数据集训练，在视觉问答、视觉指令遵循等基准测试中性能超越同类模型，为多模态大模型架构优化提供了创新可行的开源方案。
使用须知
定价: 以官网定价为准
价格和授权政策可能变化，请以官网最新信息为准
资料由中文导航编辑部整理并经健康检测核验，定期复查更新。
本页信息核对于 2026/10/10，收录信息以收录当日官网状态为准，如发现内容过期请通过下方反馈告知。
访问第三方网站时，请注意以下事项:
- 谨慎提供个人账号、密码和支付信息
- 下载文件前确认来源安全，警惕诱导性广告
- 涉及版权素材使用时，请核实授权范围
- 如遇网站无法访问或内容异常，可反馈给我们
帮助我们维护准确的收录数据，纠错会进入编辑复核队列
用过CuMo？说说你的真实体验
你的点评会帮助更多人选型避坑——匿名发表，无需注册，30 秒即可完成
用户评价
还没有评分
成为第一个评价 CuMo 的人
我的评分
随下方评论一并提交
热度数据
按站内点击统计1
站内总点击
#-
同类排名 / 10672 站
1
同类点击中位数