MoE模型

基于LLaVA构建的多参数规模多模态视觉语言模型项目 MiniGemini是基于LLaVA搭建的多模态视觉语言模型，采用双视觉编码器结构，分别输出低分辨率视觉嵌入与高分辨率候选区域，通过补丁级信息挖掘融合图文信息。支持2B到34B参数的密集型、MoE两类大语言模型，同时具备图像理解、推理、生成能力，可通过多个主流视觉理解基准测试，适配不同规模大模型底座需求。

专为智能手机优化的大模型推理框架，支持大参数MoE模型推理加速 PowerInfer-2是专门针对智能手机优化的大模型推理框架，可支持最高47B参数的MoE模型，实现了每秒11.68token的推理速度，比同类框架快22倍。它通过异构计算和I/O-Compute流水线技术，减少了内存使用，提升推理速度，可助力在移动设备本地部署大模型，增强数据隐私。