评估指标

开源全流程RAG工具库，专注构建RAG增强数据集支撑研发实验 RAG-FiT是面向RAG研发的开源工具库，核心围绕RAG增强数据集构建提供支撑，覆盖从原始数据处理、模型训练、推理到全链路评估的完整研发流程。不同于单一功能的RAG组件工具，它采用模块化设计，可灵活适配多种RAG架构配置，支持自定义工作流，帮助从业者快速完成原型验证与实验迭代。

含创新指标的视觉语言模型多模态能力评估基准 MMStar汇集1500个经人工审查的视觉语言样本，覆盖6项核心多模态能力、18个细分评估维度。样本筛选严格控制视觉依赖性，最小化数据泄露问题，要求模型具备高级多模态能力才能完成测试。不同于传统基准仅统计准确率，MMStar新增两类专项指标，可衡量数据泄露影响与多模态训练的实际性能增益，帮助研究者定位模型潜在缺陷。

新型文本到视觉生成评估指标，性能优于传统CLIPScore 该项目是面向生成式AI领域的学术研究成果，提出VQAScore新型文本到视觉生成评估指标，基于CLIP-FlanT5模型开发，可适配文本到图像、视频、3D生成的评估需求，表现优于传统CLIPScore，同时配套推出GenAI-Bench基准测试集，提供含丰富组合语义的实际场景测试文本，支撑生成模型性能的全面评估。