附录 A：从问题定义到证据裁决——统一验证框架
本附录使用 VTRCE 将正确性、时效性、相关性、成本与错误代价放进同一个裁决坐标系。
本附录是全书的「裁决层」
什么时候用这个附录：当你面临跨章节的决策冲突时——Stage 0 验收标准、三层评估体系、成本模型 ROI 计算，这三套标准哪个优先？答案在这里。
VTRCE 框架（Validity/Timeliness/Relevance/Cost/Error Cost）是全书统一的目标函数。各章节的局部指标都可以在这个五维框架里找到坐标，做出有依据的架构取舍。
推荐使用场景：项目立项时定权重 → 上线前跑三阶段门控 → 季度复审时对照清单 → 发生争议时用证据裁决原则。
本附录解决一个贯穿全书的隐性问题：各章节都有自己的验收标准（Stage 0 黄金问题集、Acceptance Predicate、9维度评分、三层评估体系……），但在系统层面，这些标准是否互相一致？谁来最终裁决"这个知识库系统是可信的"？
概念使用图
下方工作台展示 13 个核心概念的首次定义、跨章语义使用样本、学习前置与不可混同边界，并用 Evidence Maturity 区分知识结构完成度与交付证据强度。它是已复核样本，不是全文每一次词面出现的穷尽索引。
Evaluation Gate 在这里不是评分展示，而是缺少必要证据时必须阻断升级或发布的条件。
Knowledge Evolution 必须消费评估回执并保留批准与回滚轨迹，不能把自动改写等同于受控进化。
Fine-tuning vs RAG 的选择应作为受约束的验证问题进入 VTRCE，而不是凭技术偏好一次性定案。
Concept graph · schema v2
定义先行，跨章使用可追踪
- 概念
- 13
- 语义用法
- 13
当前为已复核语义样本；普通词面出现不自动计为已审查用法。复核日期 2026-08-01。
Knowledge System知识体系 · 知识库系统
DIKW数据-信息-知识-智慧 · 认知层级
LoDLevel of Distillation · 蒸馏层级
RAGRetrieval-Augmented Generation · 检索增强生成
RAG（检索增强生成）是在查询时检索证据并把所选证据提供给模型的回答模式；它不等同于完整知识体系。
已复核使用
- 06 · 比较本章把 RAG 作为检索基线
学习后续
GraphRAGAgentFine-tuning vs RAGEvaluation Gate
不可混同
- Knowledge System · 不可等同RAG 是检索模式；Knowledge System 还包含治理、应用、评估与演进。
- GraphRAG · 不可等同向量优先 RAG 与图谱增强检索的证据结构和成本曲线不同。
- Skill Distillation · 不可等同RAG 在查询时提供证据；Skill Distillation 产出有边界的程序性指令。
- Fine-tuning vs RAG · 不可等同RAG 是候选路线之一；Fine-tuning vs RAG 是更上层的决策问题。
相关导航
GraphRAG图谱增强检索
MCPModel Context Protocol · 模型上下文协议
Agent智能体
Skill DistillationSkill 蒸馏 · 技能蒸馏
Evidence Maturity证据成熟度 · 原理-方案-可运行-可验收
VTRCE统一验证框架
VTRCE 是本指南用 Validity、Timeliness、Relevance、Cost 与 Error Cost 五个维度裁决系统取舍的统一验证框架。
已复核使用
- A · 验证本附录使用 VTRCE 将正确性、时效性、相关性、成本与错误代价放进同一个裁决坐标系
学习后续
Evaluation Gate
不可混同
- Evidence Maturity · 不可等同VTRCE 比较决策维度；Evidence Maturity 描述本地交付证据强度。
- Evaluation Gate · 不可等同VTRCE 提供评估维度；Evaluation Gate 执行阻断条件。
相关导航
Evaluation Gate评估门禁 · 质量门禁
Knowledge Evolution知识库进化 · 自进化闭环
机器可验收契约
下方工作台把“固定评估集、负例、阈值、回归差异、责任接受、最终回执”作为六类独立条件重新计算。绿色的本地复放只能证明 L2 fixture 可重复；只要业务授权、阈值批准、责任接受或最终回执任一缺失，页面就不能升级到 acceptance / acceptance-tested。
Acceptance gate · schema v1.0
本地复放通过，不等于最终接受
- 本地可复放
- 3/3
- 已验收
- 0/3
本注册表只裁决知识页面能否升级为本仓库的可验收内容，不证明生产部署、法律合规、预算批准或真实模型效果。 当前复核日期 2026-08-02。
05 · 数据安全与合规架构 —— 构建知识库前必读ACC-SECURITY-001
固定集合5 例3 个负例
本地复放100%L2 · 零外部调用
基线差异0.0 pp未观察到退化
责任接受0/4最终回执缺失
固定输入与回归身份
- 数据集
- ADS-SECURITY-LOCAL-V1 · v1.0.0
- 数据边界
- 合成 fixture，未获业务授权
- 基线回执
- ACR-SECURITY-LOCAL-V1
- 验收范围
- 仅仓库内容 · productionReady=false
阈值复放与批准状态
- 用例通过率 实测 1 · ≥ 1 本地通过 · 示意阈值
- 外部调用 实测 0 · = 0 本地通过 · 示意阈值
- 外部副作用 实测 0 · = 0 本地通过 · 示意阈值
当前阻断
DATASET_NOT_BUSINESS_AUTHORIZED数据集尚非获授权业务样本THRESHOLDS_NOT_APPROVED阈值仍是示意值，未获批准OWNER_ACCEPTANCE_INCOMPLETE四类具名责任尚未全部接受FINAL_RECEIPT_MISSING最终仓库内容验收回执缺失
下一证据绑定获授权业务样本与辖区控制表，由四类具名责任人接受职责并批准阈值，再签发仓库内容验收回执。
查看 05 章验收上下文10 · 成本模型与预算管理ACC-COST-001
固定集合4 例3 个负例
本地复放100%L2 · 零外部调用
基线差异0.0 pp未观察到退化
责任接受0/4最终回执缺失
固定输入与回归身份
- 数据集
- ADS-COST-LOCAL-V1 · v1.0.0
- 数据边界
- 合成 fixture，未获业务授权
- 基线回执
- ACR-COST-LOCAL-V1
- 验收范围
- 仅仓库内容 · productionReady=false
阈值复放与批准状态
- 用例通过率 实测 1 · ≥ 1 本地通过 · 示意阈值
- 外部调用 实测 0 · = 0 本地通过 · 示意阈值
- 外部副作用 实测 0 · = 0 本地通过 · 示意阈值
当前阻断
DATASET_NOT_BUSINESS_AUTHORIZED数据集尚非获授权业务样本THRESHOLDS_NOT_APPROVED阈值仍是示意值，未获批准OWNER_ACCEPTANCE_INCOMPLETE四类具名责任尚未全部接受FINAL_RECEIPT_MISSING最终仓库内容验收回执缺失
下一证据使用目标供应商、区域、币种与真实负载建立获授权评估集，由 FinOps 与预算责任人批准误差阈值并签发仓库内容验收回执。
查看 10 章验收上下文14 · Agent 知识调用质量评估ACC-EVALUATION-001
固定集合3 例2 个负例
本地复放100%L2 · 零外部调用
基线差异0.0 pp未观察到退化
责任接受0/4最终回执缺失
固定输入与回归身份
- 数据集
- ADS-EVALUATION-LOCAL-V1 · v1.0.0
- 数据边界
- 合成 fixture，未获业务授权
- 基线回执
- ACR-EVALUATION-LOCAL-V1
- 验收范围
- 仅仓库内容 · productionReady=false
阈值复放与批准状态
- 用例通过率 实测 1 · ≥ 1 本地通过 · 示意阈值
- 外部调用 实测 0 · = 0 本地通过 · 示意阈值
- 外部副作用 实测 0 · = 0 本地通过 · 示意阈值
当前阻断
DATASET_NOT_BUSINESS_AUTHORIZED数据集尚非获授权业务样本THRESHOLDS_NOT_APPROVED阈值仍是示意值，未获批准OWNER_ACCEPTANCE_INCOMPLETE四类具名责任尚未全部接受FINAL_RECEIPT_MISSING最终仓库内容验收回执缺失
下一证据将三用例 mock 集替换为获授权版本化业务集，批准错误成本阈值并锁定真实模型版本，由四类具名责任人签发验收回执。
查看 14 章验收上下文为什么需要统一验证框架
五个Oracle智能体在对全书的苏格拉底研判中，反复触到同一个盲区：
全书没有统一的目标函数。执行遵从率（第八章）、知识正确性（第十四章）、业务ROI（第十章）、组织可维护性（第十一章）是四套独立的评价体系。读者知道很多局部正确的原则，但无法做真正的架构取舍。
本框架尝试建立一个五维统一目标函数，使各章节的局部指标有了全局坐标系。
统一目标函数：VTRCE 五维框架
| 维度 | 英文 | 含义 | 典型度量 | 对应章节 |
|---|---|---|---|---|
| V | Validity | 知识是否正确 | 幻觉率、事实核查通过率 | 第十四章 |
| T | Timeliness | 知识是否及时 | 新鲜度得分、过期率 | 第十三章 |
| R | Relevance | 知识是否相关 | 查询命中率、Top-K精度 | 第十四章 |
| C | Cost | 获取/维护成本是否可持续 | 全生命周期单位成本 | 第十章 |
| E | Error Cost | 出错后的代价是否可控 | 错误代价分层、回滚时间 | 第十七章 |
关键洞察：不同业务场景的五维权重不同。
python
VTRCE_PROFILES = {
"合规/财务场景": {"V": 0.35, "T": 0.15, "R": 0.20, "C": 0.10, "E": 0.20},
"选品/营销场景": {"V": 0.20, "T": 0.30, "R": 0.25, "C": 0.20, "E": 0.05},
"工程操作场景": {"V": 0.30, "T": 0.10, "R": 0.30, "C": 0.15, "E": 0.15},
"客服问答场景": {"V": 0.25, "T": 0.20, "R": 0.35, "C": 0.15, "E": 0.05},
}
def score_system(metrics: dict, profile: str) -> float:
weights = VTRCE_PROFILES[profile]
return sum(metrics.get(k, 0) * w for k, w in weights.items())三阶段验证门控
系统从"建设"到"上线"到"持续运营"，需要通过三道验证门控：
门控一：上线前（Pre-Launch Gate）
必须回答清楚的五个问题：
- ☐ 黄金问题集命中率 ≥ 70%（Stage 0 定义的四类问题全覆盖）
- ☐ 幻觉率 < 10%（特别是引用幻觉为零）
- ☐ 数据分级完成：所有知识条目有
data_level+valid_until+owner三个元数据 - ☐ 回滚机制就绪：存在最近一次验证通过的系统快照，可在30分钟内回滚
- ☐ 错误代价已评估：已明确"系统答错了某类问题，最坏情况会造成什么损失"
门控二：上线后30天（Post-Launch Check）
需要验证的三个关键信号：
- 使用模式是否与Stage 0预期一致：实际查询类型分布是否与黄金问题集的预设相符
- 反馈信号是否真实：用户正向反馈是否来自长期价值，还是即时体验（参见第十七章案例二）
- 业务指标是否有早期相关迹象：即使ROI还看不出，代理指标（时间节省、查询替代率）应有改善
门控三：季度复审（Quarterly Review）
系统级健康评估：
python
QUARTERLY_REVIEW_CHECKLIST = {
"知识质量": [
"黄金问题集命中率 vs 上季度",
"幻觉率趋势（是否稳定下降）",
"新增知识的验证通过率",
],
"进化健康": [
"darwin评分器与业务指标的相关系数",
"知识漂移指数（基线对比）",
"受控退化执行情况",
],
"成本结构": [
"稳态月费 vs 预算",
"隐性成本（决策委托/迁移）的量化评估",
"ROI实现进度（对比上线前预测）",
],
"组织健康": [
"知识负责人制度执行情况",
"用户对知识库的信任度（问卷/访谈）",
"团队是否出现判断能力退化信号",
]
}证据裁决原则：什么算"充分证据"
各章节的标准往往只说"要有证据"，但没有明确"多少证据算充分"。以下是跨章节通用的裁决原则：
原则一：最低证据门槛
任何进入决策的知识声明，至少需要满足以下之一：
- 两个独立来源相互印证（非同一作者的引用链）
- 一个来源 + 一个实验验证（真实数据或带回执的可执行 fixture）
- 一个来源 + 一个反例分析（说明在什么条件下该结论不成立）
原则二：证据强度分级
text
Level 1（最弱）：单一来源，无验证
Level 2：多来源相互印证，无实验
Level 3：有实验/测试数据支撑
Level 4：有长期业务数据验证（≥3个月跟踪）
Level 5（最强）：有受控对照实验知识条目的 confidence 字段应对应上述分级，而不是模型的自信度。
原则三：举证责任分配
- 新知识入库：由写入者举证（至少 Level 2）
- 质疑现有知识：由质疑者举证（至少 Level 3）
- 删除知识：由删除者举证（至少 Level 3，或由 Knowledge Owner 签字确认）
- 覆盖冲突知识：需要两方都提供证据，由 Knowledge Owner 裁决
横跨全书的四大盲区与对应解法
| 盲区 | 表现 | 解法索引 |
|---|---|---|
| 目标函数分裂 | 四套指标无优先级 | 本附录 VTRCE 框架 |
| 治理层空白 | 评分器/反馈信号本身无人治理 | 第十三章 §13.9 + 第十四章 §12.8 |
| 反向纠错缺席 | L4 Skill 错误无回滚路径 | 第一章 § Skill反向纠错链路 |
| 错误代价盲区 | 所有场景隐含等价风险 | 第十七章 §失败类型矩阵 |
如何使用本附录
- 在项目立项时：用 VTRCE 框架确定你的场景权重，设定各维度目标值
- 在上线前：对照三道门控，确认没有未答清的问题
- 在季度复审：用季度复审清单逐项评估
- 在发生争议时：用证据裁决原则判断谁的主张有足够支撑
来源与复核
- 复核状态：待复核。任何易漂移的版本、价格、法律或性能结论，采用前都必须回到一手来源再次确认。
- 代码状态：示意代码。未被本地 smoke test 覆盖的片段不得解释为生产可运行。
- 证据边界：本页成熟度只描述内容形态，不代表部署、上线或生产验收已经完成。
- 下一验收动作：按仓库根目录
content-audit.md中本模块的证据缺口补齐来源、fixture 与验收回执。