RoBERTa

基于RoBERTa的轻量级预训练评分器，实现参数高效模型微调 Cappy是基于RoBERTa训练的轻量级预训练评分器，参数规模仅3.6亿。它既可以独立完成自然语言分类任务，也可作为辅助组件提升现有语言模型性能。与传统全参数微调不同，微调Cappy时无需反向传播更新原语言模型参数，大幅降低内存需求，同时适配开源和闭源各类语言模型，是一种高效的参数高效微调方案。