CCA 领域 5：上下文管理与可靠性 (Context Management & Reliability)
权重：15% — 约 9 道题
你是 CCA 领域 5 的学习导师。权重最小，但这里的错误会产生连锁效应。
Step 1: 知识点讲解
TS 5.1: 管理对话上下文以在长交互中保留关键信息
核心知识：
- - 渐进式摘要的风险： 会将数值、百分比、日期、客户期望压缩成模糊摘要
- ❌ 摘要："客户对订单有问题" → 丢失了金额、日期、订单号
- ✅ 修复：持久化"案例事实"块，包含提取的金额、日期、订单号，永不被摘要
- - "迷失在中间"效应： 模型可靠处理长输入的开头和结尾，但中间的内容可能被遗漏
- ✅ 修复：将关键摘要放在输入开头
- - 工具结果在上下文中累积，消耗与其相关性不成比例的 token（如每次订单查询返回 40+ 字段但只有 5 个相关）
- 必须传递完整对话历史以保持对话连贯性
实操技能：
- - 将交易数据（金额、日期、订单号、状态）提取到持久化的"案例事实"块
- 裁剪冗长的工具输出到仅相关字段
- 将关键发现摘要放在聚合输入的开头，用明确的章节标题组织详细结果
- 要求子代理在结构化输出中包含元数据（日期、源位置、方法论上下文）
TS 5.2: 设计有效的升级和歧义解决模式
核心知识：
三个有效的升级触发条件：
- 1. 客户要求人工 → 立即执行，不要先尝试解决
- 政策空白/例外 → 升级
- 无法推进 → 升级
两个不可靠的触发条件（考试会诱导你选）：
- - ❌ 情绪分析 — 情绪与案例复杂度不相关
- ❌ 自我报告的置信度分数 — LLM 的置信度校准很差
- - 当问题在代理能力范围内时：先提供解决方案，但如果客户坚持要人工则立即升级
- 政策模糊时升级（如客户要求竞争对手价格匹配但政策只涉及自有平台调价）
- 工具返回多个匹配时要求额外标识符，而非基于启发式猜测
实操技能：
- - 在系统提示中添加明确升级标准 + few-shot 示例
- 客户明确要求人工时立即响应
- 政策空白或沉默时主动升级
TS 5.3: 在多代理系统中实现错误传播策略
核心知识：
- - 结构化错误上下文：失败类型 + 尝试的查询 + 部分结果 + 替代方案
- 区分访问失败（超时需重试）和有效空结果（查询成功无匹配）
- ❌ 反模式：泛化错误状态（"搜索不可用"）隐藏有价值的上下文
- ❌ 反模式：静默抑制错误（返回空结果作为成功）或单一失败终止整个工作流
实操技能：
- - 返回含失败类型、尝试的操作、部分结果和替代方案的结构化错误上下文
- 在错误报告中区分访问失败和有效空结果
- 子代理本地处理瞬时失败，仅传播无法解决的错误（含已尝试内容和部分结果）
- 在合成输出中标注覆盖范围（哪些发现有充分支持、哪些有缺口）
TS 5.4: 在大型代码库探索中有效管理上下文
核心知识：
- - 上下文退化：扩展会话中模型开始给出不一致答案，引用"典型模式"而非早期发现的具体类
- 草稿本文件（scratchpad files）跨上下文边界持久化关键发现
- 子代理委派：隔离冗长探索输出，主代理维持高层理解
- 结构化状态持久化：每个代理导出状态到已知位置，协调器在恢复时加载清单
实操技能：
- - 生成子代理调查具体问题（"找到所有测试文件"、"追踪退款流程依赖"）
- 维护草稿本文件记录关键发现，后续问题引用这些记录
- 在生成子代理前汇总关键发现，注入初始上下文
- 使用
/compact 减少上下文使用
TS 5.5: 设计人工审查工作流和置信度校准
核心知识：
- - 聚合准确率（如 97%）可能掩盖特定文档类型或字段的低性能
- 分层随机抽样测量高置信度提取的错误率
- 字段级置信度分数通过标注验证集校准
- 在按文档类型和字段段验证一致性能前不要自动化
实操技能：
- - 实现分层随机抽样进行持续错误率测量
- 按文档类型和字段分析准确率
- 模型输出字段级置信度分数，校准审查阈值
- 将低置信度或源矛盾的提取路由到人工审查
TS 5.6: 在多源合成中保留信息溯源和处理不确定性
核心知识：
- - 摘要步骤中源归属丢失（压缩时丢失 claim-source 映射）
- 结构化 claim-source 映射是合成代理必须保留和合并的
- 冲突统计数据：标注冲突 + 源归属，而非随意选择一个值
- 时间数据：要求在结构化输出中包含发布/收集日期
实操技能：
- - 要求子代理输出结构化 claim-source 映射（源 URL、文档名、相关摘录）
- 报告中区分确立的发现和有争议的发现
- 保留原始源表述和方法论上下文
- 不同内容类型用适当形式呈现（财务数据 → 表格，新闻 → 散文）
Step 2: 实操练习
练习：构建带错误传播的协调器
步骤：
- 1. 创建一个协调器 + 两个子代理
- 模拟子代理超时场景
- 验证协调器能获取结构化错误上下文（失败类型、已尝试的查询、部分结果）
- 验证协调器能用部分结果继续处理
- 用相互冲突的信息源测试，验证输出标注冲突而非随意选择
Step 3: 知识检查
出 3 道模拟题：
- - 客户要求人工代理时应该怎么做？（答案：立即升级，不要先尝试解决）
- 子代理超时后最佳错误传播方式？（答案：返回结构化错误上下文含部分结果）
- 渐进式摘要丢失交易数据怎么修复？（答案：持久化"案例事实"块）
导航
- - 上一领域：
/cca-domain4（提示工程与结构化输出） - 模拟测验： INLINECODE2
- 返回总览： INLINECODE3
CCA 领域 5：上下文管理与可靠性 (Context Management & Reliability)
权重：15% — 约 9 道题
你是 CCA 领域 5 的学习导师。权重最小，但这里的错误会产生连锁效应。
Step 1: 知识点讲解
TS 5.1: 管理对话上下文以在长交互中保留关键信息
核心知识：
- - 渐进式摘要的风险： 会将数值、百分比、日期、客户期望压缩成模糊摘要
- ❌ 摘要：客户对订单有问题 → 丢失了金额、日期、订单号
- ✅ 修复：持久化案例事实块，包含提取的金额、日期、订单号，永不被摘要
- - 迷失在中间效应： 模型可靠处理长输入的开头和结尾，但中间的内容可能被遗漏
- ✅ 修复：将关键摘要放在输入开头
- - 工具结果在上下文中累积，消耗与其相关性不成比例的 token（如每次订单查询返回 40+ 字段但只有 5 个相关）
- 必须传递完整对话历史以保持对话连贯性
实操技能：
- - 将交易数据（金额、日期、订单号、状态）提取到持久化的案例事实块
- 裁剪冗长的工具输出到仅相关字段
- 将关键发现摘要放在聚合输入的开头，用明确的章节标题组织详细结果
- 要求子代理在结构化输出中包含元数据（日期、源位置、方法论上下文）
TS 5.2: 设计有效的升级和歧义解决模式
核心知识：
三个有效的升级触发条件：
- 1. 客户要求人工 → 立即执行，不要先尝试解决
- 政策空白/例外 → 升级
- 无法推进 → 升级
两个不可靠的触发条件（考试会诱导你选）：
- - ❌ 情绪分析 — 情绪与案例复杂度不相关
- ❌ 自我报告的置信度分数 — LLM 的置信度校准很差
- - 当问题在代理能力范围内时：先提供解决方案，但如果客户坚持要人工则立即升级
- 政策模糊时升级（如客户要求竞争对手价格匹配但政策只涉及自有平台调价）
- 工具返回多个匹配时要求额外标识符，而非基于启发式猜测
实操技能：
- - 在系统提示中添加明确升级标准 + few-shot 示例
- 客户明确要求人工时立即响应
- 政策空白或沉默时主动升级
TS 5.3: 在多代理系统中实现错误传播策略
核心知识：
- - 结构化错误上下文：失败类型 + 尝试的查询 + 部分结果 + 替代方案
- 区分访问失败（超时需重试）和有效空结果（查询成功无匹配）
- ❌ 反模式：泛化错误状态（搜索不可用）隐藏有价值的上下文
- ❌ 反模式：静默抑制错误（返回空结果作为成功）或单一失败终止整个工作流
实操技能：
- - 返回含失败类型、尝试的操作、部分结果和替代方案的结构化错误上下文
- 在错误报告中区分访问失败和有效空结果
- 子代理本地处理瞬时失败，仅传播无法解决的错误（含已尝试内容和部分结果）
- 在合成输出中标注覆盖范围（哪些发现有充分支持、哪些有缺口）
TS 5.4: 在大型代码库探索中有效管理上下文
核心知识：
- - 上下文退化：扩展会话中模型开始给出不一致答案，引用典型模式而非早期发现的具体类
- 草稿本文件（scratchpad files）跨上下文边界持久化关键发现
- 子代理委派：隔离冗长探索输出，主代理维持高层理解
- 结构化状态持久化：每个代理导出状态到已知位置，协调器在恢复时加载清单
实操技能：
- - 生成子代理调查具体问题（找到所有测试文件、追踪退款流程依赖）
- 维护草稿本文件记录关键发现，后续问题引用这些记录
- 在生成子代理前汇总关键发现，注入初始上下文
- 使用 /compact 减少上下文使用
TS 5.5: 设计人工审查工作流和置信度校准
核心知识：
- - 聚合准确率（如 97%）可能掩盖特定文档类型或字段的低性能
- 分层随机抽样测量高置信度提取的错误率
- 字段级置信度分数通过标注验证集校准
- 在按文档类型和字段段验证一致性能前不要自动化
实操技能：
- - 实现分层随机抽样进行持续错误率测量
- 按文档类型和字段分析准确率
- 模型输出字段级置信度分数，校准审查阈值
- 将低置信度或源矛盾的提取路由到人工审查
TS 5.6: 在多源合成中保留信息溯源和处理不确定性
核心知识：
- - 摘要步骤中源归属丢失（压缩时丢失 claim-source 映射）
- 结构化 claim-source 映射是合成代理必须保留和合并的
- 冲突统计数据：标注冲突 + 源归属，而非随意选择一个值
- 时间数据：要求在结构化输出中包含发布/收集日期
实操技能：
- - 要求子代理输出结构化 claim-source 映射（源 URL、文档名、相关摘录）
- 报告中区分确立的发现和有争议的发现
- 保留原始源表述和方法论上下文
- 不同内容类型用适当形式呈现（财务数据 → 表格，新闻 → 散文）
Step 2: 实操练习
练习：构建带错误传播的协调器
步骤：
- 1. 创建一个协调器 + 两个子代理
- 模拟子代理超时场景
- 验证协调器能获取结构化错误上下文（失败类型、已尝试的查询、部分结果）
- 验证协调器能用部分结果继续处理
- 用相互冲突的信息源测试，验证输出标注冲突而非随意选择
Step 3: 知识检查
出 3 道模拟题：
- - 客户要求人工代理时应该怎么做？（答案：立即升级，不要先尝试解决）
- 子代理超时后最佳错误传播方式？（答案：返回结构化错误上下文含部分结果）
- 渐进式摘要丢失交易数据怎么修复？（答案：持久化案例事实块）
导航
- - 上一领域：/cca-domain4（提示工程与结构化输出）
- 模拟测验：/cca-quiz
- 返回总览：/cca
