Harness Engineering：如何让 AI 编程 Agent 可靠地工作

你订阅了 Claude Pro，手握 GPT-4o API key，SWE-bench 排行榜数字倒背如流。某天你终于把一个真实项目交给 AI agent，信心满满。结果呢？它加了一个功能却破坏了测试，修复了一个 bug 却引入两个新的，运行了 20 分钟骄傲地宣布"完成了"——然后你一看代码，根本不是你要求的。

你的第一反应？"模型还不够好，升级吧。"停一下。截至 2025 年底，SWE-bench Verified 上最强的编程 agent 正确率大约只有 50-60%，而且那是在精心挑选的任务上。切换到你的日常开发环境——模糊的需求、没有测试、散布各处的隐式业务规则——这个数字只会更低。

2026 年 3 月，LangChain 工程团队在 Terminal Bench 2.0 排行榜上从第 30 名跃升至第 5 名，完全没有更换底层模型——所有提升都来自 harness 的优化。这是 Harness Engineering ROI 的最直接证据。

Faros AI 的 2026 年工程报告将 AI 工程成熟度划分为三个阶段：

Mitchell Hashimoto（HashiCorp 联合创始人）在 2026 年初提出的核心原则：每当发现 agent 犯错，就花时间工程化一个解决方案，让 agent 永远不再犯同样的错。大多数时候，这个解决方案就是对 harness 的改进。

Context Engineering 与 Harness 的关系

两者经常被混淆，但关注点不同。Context Engineering 解决"模型知道什么"——如何把正确的信息送入模型的上下文窗口（RAG、MCP、文件索引等）。Harness Engineering 解决"模型怎么行动"——在拥有信息的基础上，如何约束、验证、追踪 agent 的行为。Context 是 feedforward 的一部分，Harness 是完整的 feedforward + feedback 闭环。

来源：WalkingLabs 课程 Lecture 02

Harness 被拆解为五个子系统，每个都有明确的职责：

关键术语表

来源：Birgitta Böckeler, Martin Fowler, 2026.04

Thoughtworks 杰出工程师 Birgitta Böckeler 提出了 Harness 的控制论框架。

两条控制线

Guides（前馈控制）：在 agent 行动之前预见并防止问题——AGENTS.md、Skills、项目文档。提高首次尝试就正确的概率。

Sensors（反馈控制）：在 agent 行动之后观察并帮助自我修正——测试、lint、AI 代码审查。让 agent 在问题到达人类之前自行修复。

只靠前馈 → agent 编码了规则但永远不知道是否奏效。只靠反馈 → agent 不停重复相同的错误。两者必须配合。

计算型 vs 推理型

最佳策略是将计算型传感器作为基线、推理型传感器作为补充。特别有力量的是那些为 LLM 消费优化的自定义 lint 消息——包含修正指令的 lint 输出，等于一种正向的"prompt injection"。

三大治理维度

来源：WalkingLabs Lecture 01 + Anthropic

Anthropic 的对照实验

同一个提示（"构建一个 2D 复古游戏制作工具"）、同一个模型（Opus 4.5）：

六种典型失败模式

1. 任务定义模糊：没有清楚定义任务边界，agent 靠猜测行事。你说"加一个搜索功能"，agent 的理解和你的完全不同。
2. 隐式架构规则：项目约定只存在于工程师脑中。Agent 看不见的信息 = 不存在的信息。
3. 环境缺陷：依赖不完整、工具版本错误，agent 在配置上消耗大量上下文窗口。
4. 无法验证：没有测试、没有 lint，agent 在"感觉可以"时收尾——产生验证缺口。
5. 上下文焦虑：agent 感知上下文快用完时仓促收尾、跳过验证、选择简单解法。Anthropic 独家发现的独特现象。
6. 跨会话状态断裂：长任务中上一 session 的所有发现都丢失，新 session 需要重新探索。

来源：Anthropic: Harness design for long-running application development

Anthropic 受 GAN（生成对抗网络）的启发，将生成器和判别器互相博弈的模式迁移到软件开发，演化出三 agent 系统：

Sprint Contract——最关键的设计机制

产品规格被故意保持高层级，需要一个步骤来桥接 user stories 和可测试的实现。流程：Generator 提出构建计划 → Evaluator 审查提案 → 两者迭代直到达成一致。单个 Sprint 可包含 27 个合同标准。

Evaluator 的调优难题

Claude 默认是一个糟糕的 QA agent——会先识别出合法问题，然后自我说服"这不是大问题"并批准工作。解决方案：读取 evaluator 日志，找到判断偏离预期的例子，更新 QA prompt，经过 3-5 轮调参后评判才趋于合理。

来源：WalkingLabs Lectures 06-08

课程将数据库的 ACID 原则类比到 agent 状态管理：

Feature List 作为 Harness 基元

Feature List 不是给人看的备忘录，而是整个 Harness 的基础结构——调度器靠它选任务、验证器靠它判完成、交接器靠它生成报告。采用 JSON 格式（而非 Markdown）因为模型对 JSON 的不当修改倾向更低。

状态机：每个功能项有四个状态：not_started → active → blocked / passing。PASS 状态门控：功能只能通过验证命令成功执行才能从 active 进入 passing——唯一的上行路径，不可逆。

上下文焦虑的应对策略

来源：Anthropic: Scaling Managed Agents（2026.05）

Anthropic 的 Managed Agents 借鉴了操作系统的设计哲学：OS 通过虚拟化硬件（进程、文件）来容纳"尚未设想的程序"。Managed Agents 将 agent 组件虚拟化为三个核心接口：

Pets vs Cattle

早期所有组件共享一个容器——session、harness、sandbox 全部耦合，容器变成"宠物"（挂了就得抢救）。解耦后：harness 通过 execute(name, input) → string 调用 sandbox。容器变成了"牲畜"——挂了就起一个新的。Harness 本身也是牲畜——崩溃后新的 harness 可以通过 wake(sessionId) 恢复。

来源：Awesome Harness Engineering + OpenDev 论文 + LangChain

规则文件标准（跨工具）

验证工具链

MCP 在 Harness 中的角色

MCP（Model Context Protocol）作为 Harness 和外部工具系统之间的标准化连接层，核心价值是将工具发现从"启动时全量加载"变为"运行时按需发现"——缓解上下文膨胀的关键机制。团队可通过 MCP Servers 接入内部 API、数据库、ticket 系统等，而 agent 不需要在初始上下文中预加载所有工具描述。

来源：WalkingLabs 课程 + Martin Fowler

每个失败都应归因到特定层：

1. Task specification（任务规范层）：任务定义是否清晰、Definition of Done 是否明确
2. Context provision（上下文提供层）：agent 是否能感知必要的项目信息
3. Execution environment（执行环境层）：依赖、工具版本、环境完整性
4. Verification feedback（验证反馈层）：是否有测试、lint、验证命令
5. State management（状态管理层）：跨会话状态是否丢失

Martin Fowler 在此基础上增加了Steering Loop（转向循环）：每当问题反复出现，就改进前馈和反馈控制。人类的工作不是审查每一行代码，而是设计、维护和迭代 harness 本身。

Natural-Language Agent Harnesses（清华 / 哈工大深圳，arxiv:2603.25723）

提出将 harness 逻辑从硬编码变为可编辑的自然语言文本（NLAH），由共享的 Intelligent Harness Runtime 解释执行。关键发现：NLAH 在 SWE-bench Verified（73%）、Terminal Bench 2.0（53.9%）、OSWorld（46.3%）达到与代码 harness 相当的性能，但静态策略文本缩短 3-10 倍。Harness 设计从此可以版本控制、code review、转移复用。

OpenDev：终端原生 Coding Agent（arxiv:2603.05344）

第一个系统性的终端原生 agent 技术报告（Rust 实现）。提出 Scaffolding + Harness 的两阶段边界定义。五项贡献：per-workflow LLM 配置、Extended ReAct、事件驱动提醒、五层安全、上下文工程优先。证明复合 AI 系统架构的工程可行性。

Meta REA / KernelEvolve：生产级 Harness

Ranking Engineer Agent 实现多日 ML pipeline 自动化，休眠-唤醒检查点可恢复被中断的 6 小时任务。KernelEvolve 将 kernel 优化变成搜索问题——60%+ inference throughput 提升（NVIDIA GPU），25%+ training throughput 提升（MTIA silicon）。证明 harness-first 设计的商业价值：weeks → hours。

这些并非互斥。Claude Code 本身就是一个优秀的 harness，Managed Agents 是一个 meta-harness。团队通常在预置 harness 上叠加自定义层。

来源：OpenAI: Harness engineering

2025 年 OpenAI 用 Codex 从空 git 仓库构建完整内部产品。五个月后，约 100 万行代码，三名工程师开关合并约 1500 个 PR，平均每人每天 3.5 个。人类从不直接写代码。工程师的主要工作变成了设计环境、表达意图、构建反馈循环。