MoE大模型

面向专家混合架构大模型的高效定制微调方法，降低资源存储消耗 传统全量微调MoE架构大模型需要调整全部参数，资源成本极高。Expert Specialized Fine-Tuning（ESFT）针对MoE架构特性，仅调整与目标任务相关的专家模块参数，无需改动模型全部参数，在保证任务适配性能的前提下，大幅降低微调算力消耗，同时减少微调后模型的存储占用，解决了MoE大模型定制化落地的资源门槛问题。