长上下文处理

面向长上下文大语言模型的动态稀疏注意力推理加速方案 针对长上下文大语言模型预填充阶段速度瓶颈，MInference 1.0通过识别长上下文注意力矩阵的三种独特模式，实现动态稀疏注意力，可加速1M token提示的预填充阶段，同时不损失大模型原有核心能力，尤其保留检索能力，适配长输入场景的性能需求。

Yi-Coder是开源多参数编程大模型，主打高效推理与灵活训练 Yi-Coder拥有1.5B和9B两种参数版本，同时提供基础版与聊天版，其中9B版本基于GitHub代码库级语料和筛选后的CommonCrawl代码相关数据，完成2.4万亿高质量token训练，在多类编程任务中表现突出。