AI Agent 评测自动化中心
2026-10 启动 · 状态：规划中
面向 AI Agent 与 RAG 应用的全链路评测平台：Agent 端到端五维评测、RAGAS 检索与生成评测、Token 与成本监控、自动评测报告 + 人工复检闭环、BadCase 用例库与 AB 实验管理，让 AI 应用质量可度量、可回归、可迭代。
AI AgentRAGAS评测体系LLM 可观测BadCase 管理AB 实验
🎮 交互原型
项目简介
AI Agent 评测自动化中心 是面向 AI Agent 与 RAG 应用的全链路评测平台。AI 应用上线后「效果好不好」长期靠感觉判断，本项目把评测变成标准化流水线：采集全链路数据 → 自动化评测 → 生成报告 → 人工复检闭环 → 沉淀 BadCase 回归，让 AI 应用质量可度量、可回归、可迭代。
当前状态：规划中（已完成立项 PRD、全链路调研报告与交互原型，待排期开发）
核心能力
- Agent 端到端评测（五维指标）：对 Agent 任务全链路做多维度自动评分，覆盖从输入到最终产出的完整执行过程
- RAG 评测（RAGAS + 检索指标）：检索侧与生成侧分离评测，定位问题出在「没检到」还是「没答好」
- Token 与成本监控：按任务/模型/链路维度统计 Token 消耗与成本，防止 API 费用失控
- 自动评测报告 + 人工复检闭环：机器自动评分，低分/低置信样本自动转人工复检工单，复检结果回流校准评测规则
- BadCase & 测试用例库：失败案例一键沉淀为回归用例，每次发版自动回归，防止修复一个问题引入新问题
- AB 实验管理：不同 Prompt / 模型 / 检索策略分组对比，用数据决定上线哪个版本
交互原型（7 个核心页面）
评测大盘概览 · 链路查询 & 任务回放 · 评测任务管理 · 人工复检工单 · BadCase & 测试用例库 · AB 实验管理 · 系统配置
产物与文档
- 立项 PRD：AI 评测中心立项 PRD（含 MVP 前端页面原型需求） — 背景与目标、评测范围边界（评测中心 vs 底座能力）、五维评测 / RAGAS / Token 监控功能需求
- 调研报告：AI Agent 全链路评测体系方案与实测开发调研报告 — 整体架构与采集链路、数据特性与选型决策、端到端评测与 RAG 评测实测结果、自动报告与人工复检闭环设计、前端技术选型、开发缺口与立项清单
- 交互原型：AI Agent 全链路评测平台 — 7 个核心页面的可交互原型
- 源码仓库：待补（项目规划完成，待排期开发）