LLM推理加速

面向长上下文大语言模型的动态稀疏注意力推理加速方案 针对长上下文大语言模型预填充阶段速度瓶颈，MInference 1.0通过识别长上下文注意力矩阵的三种独特模式，实现动态稀疏注意力，可加速1M token提示的预填充阶段，同时不损失大模型原有核心能力，尤其保留检索能力，适配长输入场景的性能需求。