推理框架

专为智能手机优化的大模型推理框架，支持大参数MoE模型推理加速 PowerInfer-2是专门针对智能手机优化的大模型推理框架，可支持最高47B参数的MoE模型，实现了每秒11.68token的推理速度，比同类框架快22倍。它通过异构计算和I/O-Compute流水线技术，减少了内存使用，提升推理速度，可助力在移动设备本地部署大模型，增强数据隐私。