VQA任务

面向多模态大语言模型的开源扩展架构，融入稀疏Top-K门控MoE块 CuMo是多模态大型语言模型的扩展架构，通过在视觉编码器、MLP连接器融入稀疏Top-K门控专家混合块，提升模型可扩展性，推理阶段几乎不增加激活参数。预训练后初始化MoE专家，视觉指令调优采用辅助损失保证专家负载均衡，基于全开源数据集训练，在VQA、视觉指令遵循基准测试中性能超越同类模型。