LLM评估

面向数据科学领域的LLM评估工具，可从用户自有数据生成问答对 FiddleCube是专注服务大语言模型评估环节的数据科学工具，区别于通用内容生成工具，它核心围绕LLM评估需求，从用户自有数据快速生成标准化问答对，输出可用于评估的黄金数据集，支持多种问题类型，可通过内置度量标准校验数据准确性，还配套诊断工具定位性能不佳的查询，辅助用户优化模型效果。

开源LLM应用评估基础设施，支撑大模型应用测试优化投产 面向大模型应用开发者，支持用户编写执行测试用例，对比预期输出与实际输出，依托开源指标衡量LLM应用性能。提供差异化差异跟踪功能，追踪配置变更的效果变化，配套A/B测试、数据集生成、监控仪表盘工具，帮助开发者定位问题、明确优化方向，稳妥推进LLM应用投产。

开源大语言模型提示评估工具，可视化简化LLM评估流程 ChainForge是面向提示工程的开源大语言模型评估工具，打破传统依赖零散案例验证大模型效果的模式，支持批量调用多个大语言模型，对比响应差异、验证研究假设，可低门槛完成提示与模型质量的评估与可视化输出，开箱支持多种常见LLM测试场景，支持结果导出便于后续分析。

面向LLM开发的自动化数据集管理与评估工具 Weavel结合自有SDK，可自动记录LLM生成数据并添加至用户数据集，支持针对特定用例持续优化模型。区别于传统手动数据整理与评估方案，它可自动生成评估代码，调用LLM作为复杂任务的公正裁判，输出准确细致的性能指标，简化LLM开发迭代流程。

Selene API是基于领先LLM-as-a-Judge技术的AI应用精准评估服务 Selene API由Atla AI开发，依托行业领先的LLM-as-a-Judge技术实现AI应用评估，在各类评估基准上性能超越当前前沿模型，具备高准确性与可靠性。除了给出AI模型或应用的精准评分外，还可生成可操作的优化反馈，帮助开发者针对性提升AI应用性能，目前支持免费试用，采用按使用量计费模式。