智能体上线前的六个指标_企业AI评测与观测

「我们的准确率有 90%」——这句话在项目评审会上几乎没有信息量。样本怎么抽的、谁判定的、错的是关键问题还是边角问题，都会让同一个数字指向完全不同的结论。更麻烦的是，准确率无法回答另外几个同样重要的问题：它会不会乱答？它省下了谁的时间？成本会不会随用量失控？

在鼎上娱乐的交付流程里，一个智能体要进入放量阶段，必须在看板上同时呈现六个指标。它们不复杂，但能挡住大多数「演示很惊艳、上线没人用」的项目。

指标一：关键问题准确率

不要用随机抽样衡量准确率。评测集应按业务重要性分层：高频问题、高风险问题与长尾问题分别统计。高风险问题即使只占 5%，答错一次也可能造成实际损失，因此应当单独设阈值，而不是被平均值稀释。

判定标准要提前写清楚，最好由业务方而不是工程师定义「正确」。同一句回答，技术上可用、业务上不可用的情况非常常见。

拒答率过低往往意味着模型在编造。健康的系统应该在依据不足时明确说「不知道」，并给出获取帮助的路径。设定这条指标时要注意方向：不是越低越好，而是要与准确率一起看。准确率高、拒答率也高，说明边界清晰；准确率一般、拒答率极低，通常是在冒险。

面向内部知识场景，回答应当携带可点击的依据。引用覆盖率指的是「带有有效引用的回答占比」，以及引用是否真的支持结论。工程上可以自动检查引用片段与回答的重合度，业务上仍需人工抽查。

如果智能体承担了客服或审核职责，必须统计转人工的比例与原因。接管率突然下降不一定是好事，可能是系统在硬答；突然上升则要检查知识库是否失效、模型是否被切换。

成本要按任务而不是按 token 统计。一次问答可能包含改写、检索、重排与生成四次模型调用，再加上向量检索的算力。把这些加总，才能算出真实的单次成本，并据此设置预算告警与降级策略。

前五个指标说明系统「能不能用」，这一个说明「有没有人用」。上线后四周内，如果目标人群的周活跃低于预期，先别急着优化模型，去看看入口是否太深、响应是否太慢、结果是否需要二次加工。

我们通常建议先跑两周基线，用现状数据确定「可接受下限」，再倒推目标值。阈值写成区间而不是单点：低于下限暂停放量，位于区间内继续观察，高于目标值再扩大范围。这样团队不会为了一个漂亮数字反复调参，而忽略真实体验。

指标之间会互相牵制。提高检索严格度会提升准确率，也会抬高拒答率；换更小的模型能降成本，可能拉低引用质量。评审时要一起看，不要单独优化某一项。

一个智能体是否值得放量，不看它在演示里多聪明，而看它在指标恶化时能否被及时发现、快速回滚。

鼎上平台把这六个指标做成默认看板，按场景、版本与模型维度拆分。每次发布都会留下对照数据，方便判断效果变化到底来自编排、知识库还是模型切换。指标不是考核工具，而是让团队在不确定中保持同一个判断口径。