AI 评测中心立项 PRD（含 MVP 前端页面原型需求）
摘要
本文档为 AI 评测中心 立项 PRD。评测中心作为独立系统与通用知识库底座解耦开发：底座负责知识库管理与业务推理并写入 Trace 埋点，评测中心只读消费 Trace，完成链路观测、自动评测、人工复检工单、BadCase 沉淀、测试用例、AB 实验与系统配置，形成「采集 → 评测 → 异常识别 → 人工复检 → 案例沉淀 → 回归/AB 验证」完整闭环。两系统 JWT 账号对齐、共享 trace_main 埋点表，支持巡检机器人、投研小助手、通用 RAG 问答等多业务线按标准 Trace 接入。
立项结论：建议立项，分 MVP / V1 / V2 三阶段交付，MVP 聚焦核心基建 + 8 大前端模块页面需求，V1 闭环人工复检与回归，V2 实验与治理。
一、项目概述
1.1 背景
通用知识库底座已具备文档解析、向量检索、Agent/RAG 任务执行与内置 RAG 自校验（生成 → 评分 → 不合格重试）能力，但缺少全链路观测、自动化批量评测、BadCase 沉淀、人工复检工单、AB 实验对比能力。业务侧多个场景（工业巡检机器人、金融投研小助手、通用 RAG 问答）需要对 Agent/RAG 链路做质量评估、版本回归与问题闭环，因此立项开发独立 AI 评测中心。
1.2 产品目标
搭建一套 AI Agent 与 RAG 全链路评测中心，消费底座上报的 Trace 埋点数据，实现链路查询、自动化评测、人工复检工单、BadCase 管理、测试用例管理、AB 实验、系统配置能力，完成从链路采集 → 自动打分 → 异常派单 → 人工复核 → 案例沉淀 → 版本回归的完整闭环。
1.3 核心架构原则
双系统独立开发，数据共享但职责分离。底座（生产层）运行 Agent/RAG 应用并写入共享库 trace_main；评测中心（观测层）只读消费 Trace，评测结果写入自身专属表；两系统通过同一套 JWT 账号体系实现跨系统免登录。
AI 评测中心 · 分层架构与数据流转
生产 + 观测双层架构：底座负责业务运行，评测中心负责链路观测与质量治理，JWT 对齐、共享表直读
生产层
通用知识库底座（独立系统）
文档解析 · 向量检索 · Agent/RAG 任务调度 · 内置 RAG 自校验任务链
知识库管理文档上传 / 切片 / 向量化 / 检索
问答应用RAG 问答 · Agent 任务链推理
内置自校验生成 → 评分 → 不合格重试（Runtime）
↓ 写入 Trace 埋点共享库 trace_main · LangFuse 协议
共享数据层
共享库（两系统共用）
trace_main 链路主表 · user 账号 · kb 知识库元数据
trace_mainTrace / Span 全链路埋点（底座写入）
user统一账号体系（JWT 对齐基础）
kb知识库元数据（底座写入）
↓ 直接 SELECT 共享表 · trace_id 关联JWT 对齐：同一套账号体系，跨系统免登录
观测层
AI 评测中心（本 PRD，独立系统）
只读消费 Trace → 评测计算 → 结果写专属表
评测计算AI 五维评测 · RAGAS · Token 成本
评测中心专属表agent_evaluation · rag_evaluation · 工单 · badcase · AB 实验
闭环治理任务回放 · 复检工单 · BadCase 沉淀 · 回归 / AB
表归属与读写关系
| 表归属 | 包含表 | 读写关系 |
|---|
| 共享基础表 | trace_main · user · kb | 底座写入，评测中心只读 |
| 底座专属表 | 文档切片 · 向量 · kb_eval_set / kb_eval_run | 仅底座读写 |
| 评测中心专属表 | agent_evaluation · rag_evaluation · 工单 · badcase · AB 实验 | 仅评测中心读写，trace_id 关联共享表 |
- 职责边界：底座负责文档管理、向量检索、Agent 任务调度、业务推理，写入 trace_main 埋点；评测中心负责评测计算、工单、BadCase、AB 实验，只读共享表并回写专属表。
- 鉴权：两系统 JWT 密钥统一、账号体系打通、跨系统免登；RBAC 权限模型各自独立维护。
- 多业务接入：不绑定知识库，任何业务只要输出标准 LangFuse 协议 Trace 均可接入评测，如巡检机器人、投研小助手、RAG 问答。
1.4 目标用户
| 用户角色 | 核心行为 |
|---|
| 评测工程师 | 批量跑评测、看指标大盘、人工复检工单、沉淀 BadCase、维护测试用例 |
| 算法 / Agent 开发 | 版本回归、AB 实验对比、定位链路问题、查看任务回放 |
| 产品经理 | 观测模型/知识库版本质量变化，输出质量报告 |
1.5 交付形态
- 选型 1（轻量客户）：仅交付通用知识库底座，满足只需知识库问答、不需要评测能力的客户。
- 选型 2（深度客户）：知识库底座 + 评测中心打包交付，面向多业务 Agent 场景，需要全链路质量治理。
二、核心能力范围
2.1 本次立项包含（评测中心）
- 链路查询：Trace 全链路检索、Span 明细查看、任务回放
- 评测任务管理：新建 / 执行 / 查看批量评测任务，异步任务调度
- 人工复检工单：自动生成工单、工单管理、人工复核、工单闭环
- BadCase 管理：案例库、打标、关联 trace_id、版本管理
- 测试用例管理：评测基准用例管理，用于版本回归测试
- AB 实验管理：实验配置、流量分组、指标对比报表
- 系统配置：项目管理、权限配置、评测阈值配置、模型配置
- 指标大盘：RAGAS 指标、Agent 五维评测指标、Token 成本、耗时看板
2.2 本次立项不包含（底座能力，在底座 PRD 维护）
- 文档解析、向量库、知识库问答、RAG 检索能力
- Agent 业务推理、内置 RAG 自校验生成重试逻辑
底座只负责输出标准 Trace 埋点写入 trace_main，不改动底座原有业务逻辑。
三、评测体系设计
3.1 Agent 端到端评测（五维指标）
评估 Agent 任务链路执行质量：任务完成度、工具调用正确率、安全合规、回答忠实度、步骤冗余度；附带链路延迟、反思次数；自动判定是否通过评测。
3.2 RAG 评测（RAGAS + 检索指标）
- 检索指标：Hit@1、Recall@3、Precision@3、MRR、NDCG@3
- 生成指标：Context Recall、Context Precision、Faithfulness、Answer Relevancy
RAG 评测分层：
- 检索层（离线评测）：Hit@K、MRR、Recall@K、nDCG@K → 评估向量库、chunk、rerank、多路召回
- 上下文层（RAGAS）：Context Recall、Context Precision → 评估拿到的上下文质量
- 生成层：Faithfulness 忠实度、Answer Relevancy 答案相关性 → 评估幻觉、答案是否匹配问题
3.3 Token 与成本监控
基于 trace_main 内 token 字段，统计输入/输出 token，估算推理成本；识别 token 突增异常，支持大盘聚合与 AB 对比。
3.4 触发方式
- 实时自动评测：Trace 上报完成后自动触发评测，低分自动生成复检工单
- 批量回归评测：手动创建评测任务，导入测试用例集，批量跑评测，生成版本对比报告
四、评测闭环流程
评测中心以闭环方式运转：链路采集 → 自动评测 → 异常识别 → 人工复检 → 案例沉淀 → 回归与 AB 验证，全程只读消费 Trace，不介入底座业务推理。
评测闭环流程
链路采集 → 自动评测 → 异常识别 → 人工复检 → 案例沉淀 → 回归与 AB 验证，形成迭代闭环
① 链路采集
Trace 埋点落库底座运行 Agent/RAG 任务，按 LangFuse 协议写入共享库 trace_main（含 Span、耗时、Token、输入输出）
↓ Webhook / 定时拉取
② 自动评测
AI 五维 + RAGAS + Token 计算实时自动评测或批量回归评测；输出任务完成度、工具正确率、RAG 指标、成本等
↓ 阈值规则判定
③ 异常识别
命中阈值自动触发任务完成度低分 / RAG 召回低 / Token 突增 / 超时等，命中即标记异常
↓ 自动派单
④ 人工复检
复检工单闭环绑定 trace_id 生成工单；人工任务回放、判定 BadCase、根因分类、可覆盖打分
↓ 打标沉淀
⑤ BadCase 沉淀
案例库 + 回归集确认的 BadCase 入库，可批量加入回归测试集，作为版本回归基准
↓ 验证改进
⑥ 回归 / AB 验证
版本对比验证效果跑回归测试集对比新版本指标；AB 实验并行对比两组质量、延迟、成本
闭环价值
自动识别问题 → 人工确认根因 → 沉淀为回归用例 → 版本迭代后再回归验证 → 可量化质量提升。评测中心全程只读消费 Trace，不介入底座业务推理，两系统独立开发、互不阻塞。
五、数据存储设计
| 存储引擎 | 用途 |
|---|
| MySQL | 结构化业务数据：评测结果、工单、BadCase、测试用例、AB 实验配置 |
| MongoDB | 非结构化文本：prompt、模型输出、召回原文、任务回放快照 |
| TDengine | 时序预聚合指标，支撑大盘实时指标、耗时 / Token 趋势 |
| Redis | Trace 详情缓存、评测任务状态缓存，加速查询 |
六、MVP 前端页面原型需求
MVP 覆盖 8 大功能模块的完整页面交互，前端选型 Vue3，实时性依赖 SSE（大盘）与 WebSocket（任务回放）。以下为各页面交互与字段需求，可直接用于 UI 设计稿开发。
MVP 前端页面导航结构（8 大功能模块）
B 端企业后台风格 · Vue3 + SSE / WebSocket 实时通道 · 全模块进入 MVP 原型需求范围
项目筛选版本筛选AB 分组时间范围SSE 实时刷新刷新
评测大盘AI 五维 / RAG / Token 三 Tab · 指标卡 · 雷达图 · 趋势图 · 异常列表首页默认
链路查询 & 回放Trace 检索 · 任务回放时间轴 · 耗时瀑布 · 评测结果抽屉核心页
评测任务管理批量评测任务 · 进度监控 · 报告预览导出
人工复检工单工单列表 · 处理抽屉 · BadCase 判定 · 根因分类
BadCase 库案例库 · 打标 · 关联 trace_id · 批量入回归集
测试用例管理回归测试集 CRUD · 用例维护 · 批量导入
AB 实验管理实验配置 · 分组对比 · 指标报表
系统配置项目管理 · 告警阈值 · 模型单价 · RBAC 权限
全局交互约定：TraceID 全局透传可跳转 · 人工打分与工单全程留痕 · 批量任务异步执行 · 状态色彩规范（绿达标 / 黄警告 / 红异常）· 只读角色隐藏写操作。
6.1 评测大盘（首页）
全局筛选器（顶部固定，全局生效）：项目、Agent 版本、AB 分组、时间范围、SSE 实时开关、刷新按钮。
三个 Tab：AI 端到端评测概览 / RAG 检索与生成评测概览 / Token 成本监控概览。
- AI 端到端 Tab：指标卡片（任务完成度、工具调用正确率、安全合规、回答忠实度、步骤冗余度、平均延迟、低分用例数）+ 五维雷达图（多版本叠加）+ 指标趋势折线 + 低分 Trace 异常列表（可跳转详情）
- RAG Tab：指标卡片（Hit@1、MRR、Recall@3、Precision@3、Faithfulness、Answer Relevancy）+ 趋势图 + 版本对比柱状图 + 召回低分 Trace 清单
- Token Tab：指标卡片（总输入/输出 Token、估算总成本、单次平均、P99）+ 成本趋势折线 + 版本平均 Token 对比 + 突增异常 Trace 列表
6.2 链路查询与任务回放
Trace 列表检索：筛选项含 trace_id 精确搜索、项目、版本、AB 分组、延迟区间、Token 区间、评测状态；表格列含总耗时、总 Token、AI/RAG 评测完成状态、是否生成工单、创建时间，操作列含查看详情、人工触发评测。
Trace 详情页（分栏布局）：左侧任务回放面板（时间轴展示 Span：Skill 子任务、工具调用、RAG 检索、LLM 推理；含耗时、输入输出、错误信息、瀑布子图）+ 右侧评测结果抽屉（AI 五维结果 / RAG 结果 / Token 信息三个 Tab，支持人工修改打分、新建复检工单、加入 BadCase、导出数据）。
6.3 评测任务管理
任务列表：任务 ID、名称、评测类型（AI 端到端 / RAG / 两者）、关联测试集、状态（排队/运行中/成功/失败）、总用例数、已完成、创建人、时间；操作含查看进度、查看报告、下载报告、删除。
新建批量评测弹窗：选择评测类型、回归测试集、目标 Agent/RAG 版本、执行方式（立即/定时）、提交后异步执行并推送进度。
报告预览：网页版报告含 AI 五维汇总 + RAG 指标汇总 + Token 统计，支持导出 PDF / Excel。
6.4 人工复检工单
工单列表：筛选含状态（待处理/处理中/已闭环）、项目、版本、触发规则（任务完成度低 / RAG 低分 / Token 突增 / 超时）；字段含工单 ID、触发规则、trace_id、创建时间、处理人、状态。
工单处理：展示触发原因与原始阈值；快捷跳转 Trace 任务回放；判定（确认 BadCase / 误告警）；根因分类（Agent 规划 / 工具调用 / 知识库召回 / 模型本身 / 环境网络 / 其他）；优化建议备注；可选人工覆盖五维打分；保存闭环并可同时加入 BadCase 库。全程留痕审计，不可物理删除。
6.5 BadCase 库
列表字段：badcase_id、trace_id、项目、版本、根因标签、是否加入回归集、创建时间；操作含查看 Trace、编辑标签、批量加入回归集。
6.6 测试用例管理
回归测试集 CRUD；用例维护（测试 Query、预期输出）；支持从 BadCase 批量导入用例；测试集用于批量评测任务的数据源。
6.7 AB 实验管理
实验列表（名称、A/B 分组版本、状态、时间范围）；实验详情指标对比：AI 五维平均分、RAG 指标、平均延迟、P99、平均 Token、BadCase 数量，并排对比并支持导出报告。
6.8 系统配置
- 项目管理：项目元信息新建/编辑
- 告警阈值配置：AI 五维最低分、延迟超时、反思次数、RAG Recall@3 最低值、Token 单次上限与突增百分比；命中阈值自动生成复检工单开关
- 模型单价配置：各 LLM 输入/输出单价，用于成本自动折算
- RBAC 权限：用户账号、角色（评测工程师 / 算法产品只读 / 管理员）、项目级数据隔离
6.9 全局交互规则
- TraceID 全局透传：任意页面出现 trace_id 均可点击跳转 Trace 详情
- 审计留痕：人工打分、工单处理、阈值修改全部记录操作人与时间，不可删除
- 异步任务：批量评测、回归任务全部异步，页面展示进度不阻塞浏览器
- 实时策略：大盘 SSE 增量推送；任务回放 WebSocket 流式获取 Span；其余列表为查询加载
- 状态色彩：绿=正常达标，黄=接近阈值警告，红=低于阈值/异常/失败
- 权限控制：只读角色隐藏所有写操作按钮
七、非功能需求
| 项 | 要求 |
|---|
| 性能 | 链路单点查询（TraceId）≤200ms；大盘预聚合首屏 ≤2s；批量评测任务异步队列执行，避免压库 |
| 权限 | RBAC 项目级数据隔离；网关统一 JWT 鉴权 |
| 并发 | 支持数十人同时在线查看大盘、查询链路；批量任务限流保护数据库 |
| 可扩展 | 新增业务场景（机器人/投研助手）只需上报标准 Trace，无需改造评测中心 |
八、项目里程碑
| 阶段 | 范围 | 验收标准 |
|---|
| MVP | Trace 数据接入、指标大盘、链路查询、任务回放、基础评测任务管理、8 大前端页面 | 底座写入 trace_main，评测中心可读取 Trace；可查看链路 Span；自动跑出基础评测指标与 Token 监控大盘 |
| V1 | 人工复检工单、BadCase 库、测试用例管理、自动评测报告导出 | 低分链路自动生成复检工单；人工可复核标记 BadCase；支持导入测试用例执行回归评测 |
| V2 | AB 实验管理、系统配置模块、告警能力、完整报告能力 | 支持配置 AB 实验分组自动对比指标；支持自定义阈值、权限管理、异常告警 |
九、依赖与风险
8.1 项目依赖
- 通用知识库底座：完成 LangFuse 标准 Trace 埋点，可正常写入共享 trace_main 表
- 账号体系：统一 JWT 密钥，两套系统鉴权打通
- 中间件环境：MySQL、MongoDB、TDengine、Redis、消息队列（异步评测任务）
8.2 风险
| 风险 | 等级 | 应对方案 |
|---|
| Trace 埋点字段不全，缺少评测需要的 Span 信息 | 中 | 底座侧提前对齐 Trace 字段规范，输出埋点 schema 文档；缺失字段做兼容降级 |
| 批量评测任务并发量大，数据库压力高 | 中 | 使用消息队列异步执行评测；TDengine 预聚合，禁止直接查询原始明细做大盘统计 |
| LLM 自动打分不稳定，指标波动大 | 低 | 支持人工复写评测分数留痕；评测指标配套人工复检闭环，不单纯依赖自动打分 |
十、接口概览
- Webhook 接收 LangFuse Trace 上报（底座侧）
- Trace 链路查询接口、任务回放 WebSocket 接口
- 评测任务管理接口（创建 / 查询 / 取消批量任务）
- 工单 CRUD、BadCase CRUD、测试用例 CRUD
- AB 实验配置与指标对比接口
- 大盘指标、Token 成本统计接口
- 权限 / 系统配置接口
十一、立项评审清单
- 产品范围确认：评测中心和知识库底座边界确认
- 架构方案确认：双系统独立、JWT 对齐、共享 trace_main 方案
- 存储方案、中间件资源评估
- 人力评估：后端、前端、测试
- 排期确认：MVP / V1 / V2 交付时间
- 资源预算评估（云资源、模型调用成本）
- 风险确认与应对方案
- 评审结论：同意立项 / 调整需求后立项 / 暂缓