透明化Agent交付：Harness Inspector的实践与思考

最近，我们一直在尝试优化 Better Harness 的 SKILL 自动沉淀 能力：从 Agent 的真实会话中识别重复出现的工作路径，再判断其中哪些经验值得进一步沉淀成可复用的 SKILL。真正开始实施后，我们发现这件事远比“把一段 Session 分析一遍”复杂得多。

挑战：从“能跑”到“可靠可控”

一个 Agent 任务的完成，往往涉及一系列步骤、工具调用、中间思考和决策分支。如果只是将整个过程视为一个黑盒，只关注最终输出，那么我们很难判断：

哪些步骤是关键且可复用的？ 一次成功的任务执行，可能包含了探索性步骤和偶然的成功路径，而非稳定的工作流。
失败或低效的环节在哪里？ 当 Agent 表现不佳时，缺乏过程数据就难以诊断是提示词问题、工具选择错误还是推理逻辑偏差。
如何积累和验证经验？ “沉淀SKILL”不能仅凭感觉，需要基于对大量历史数据的客观分析，验证某条路径的稳定性和普适性。

因此，我们需要的不仅仅是一个分析工具，而是一套贯穿 Agent 工作全过程的 可观测性基础设施。它的核心目标是让 Agent 的交付过程变得 可观察、可检查、可追溯。

解决方案：Harness Inspector

为此，我们着手开发 Harness Inspector。它的核心思想是为每次 Agent 执行会话生成一份详尽的“检查报告”。这份报告不仅仅记录最终结果，更深入到执行的每一个环节。

核心能力

过程记录与回放：完整记录 Agent 的每一次思考、每一次工具调用（包括输入、输出、耗时）、以及与用户的每一轮交互。这使得任何一次执行都可以被精确地回溯，如同为 Agent 任务装上了“黑匣子”。
行为模式分析：通过结构化日志，分析工具调用的序列、分支决策点、耗时分布等。这有助于识别出稳定的工作模式（例如：分析需求 -> 检索代码库 -> 生成计划 -> 编码 -> 测试）和异常模式（如：陷入循环、频繁切换工具）。
质量与效率评估：可以基于记录的数据，定义一系列指标，例如任务完成率、关键工具调用次数、异常退出率等，为评估和优化 Agent 性能提供量化依据。

工作流程示例

一个典型的审查流程如下：

选择目标会话：从历史记录中选取一次特定的 Agent 交互会话。
启动检查器：Harness Inspector 加载并解析该会话的完整日志。
可视化审查：通过界面以时间线、流程图或树状图的形式，直观展示 Agent 的决策与执行路径。
标记与分析：开发者可以标记关键的步骤（如“成功的代码重构”、“有效的查询构建”），并分析其前因后果。
沉淀候选：将经过验证的、具有通用性的行为模式，标记为潜在的 SKILL 候选，并为其编写描述和使用规范。

在这个过程中，我们能够更清晰地看到，一个复杂的任务是如何被分解和执行的。这与我们之前在 SDD 文档驱动开发实战中强调的“任务分解”和“验证环节”思想一脉相承，只是这次我们将其应用在了对 Agent 自身行为的分析上。

超越调试：为演进提供动力

Harness Inspector 的价值远不止于调试。它为我们构建了一个 正向反馈循环：

从实践中学习：真实的、经过观察和验证的工作路径，是提炼高质量 SKILL 的最可靠源泉。这回应了我们对超级能力而非超级智能：AI发展的务实路径的追求——通过积累可靠的、可组合的技能来增强系统能力。
促进迭代优化：明确的瓶颈和失败模式，为优化提示词、改进工具链、调整 Agent 架构提供了精确的指导方向。
增强信任与可解释性：当用户或开发者能够追溯 Agent 为何做出某个决策时，系统的可信度和可维护性将大幅提升。

当然，在技术实现上，选择高效的日志序列化方案、设计灵活的查询接口、确保在高并发场景下的性能，都是需要深入考量的工程挑战。这与在深入解析 React Server Components 的渲染机制中剖析复杂系统运行时行为所面临的挑战有异曲同工之妙。

总结

将 Agent 的交付过程“透明化”，是其从实验性玩具走向生产级关键基础设施的必经之路。Harness Inspector 作为这一理念的实践，通过提供深度的可观测性，使得 Agent 的行为不再是黑盒。这不仅让当前的调试和优化变得高效，更为其持续学习和能力沉淀奠定了坚实的基础。让智能体系统能够可靠地交付、透明地演进，正是我们下一步工作的重点。