AI学术研究

评估大语言模型视觉能力，探索纯LLM训练视觉模型的研究项目 本项目是一项聚焦大语言模型视觉能力的学术研究，系统评估LLM生成、识别逐渐复杂视觉概念的能力。不同于传统视觉研究依赖像素输入，它采用代码表示图像适配LLM处理逻辑，验证了仅靠文本大模型即可训练出可对自然图像做语义评估的视觉模型，开辟了视觉研究新路径

EleutherAI推出的改进T5模型，优化代码任务处理能力 Pile-T5是EleutherAI在原T5模型基础上改进推出的自然语言处理模型，采用Pile数据集搭配LLAMA分词器训练，总训练量达到2万亿token，为原T5模型的两倍。该模型在多项下游任务表现优于原版，尤其提升了代码任务的理解能力，同时开放不同训练阶段的中间检查点，供研究人员探索模型演化规律。