信息源索引

本次调研使用的 24 篇源文章的结构化索引

文章列表

1. OpenAI Engineering — Leveraging Codex in an Agent-First World

核心论点：

• 3 名工程师历时 5 个月，用 Codex 构建百万行代码产品，无一行人工代码，每人每天合并 3.5 个 PR，扩至 7 人后吞吐量仍持续上升。
• AGENTS.md 的最佳实践是充当”目录”而非”百科全书”——上下文窗口是稀缺资源，应做导航而非倾倒。
• 代码仓库是唯一可信的记录系统，所有知识必须版本化，禁止口传秘术。
• 自定义 linter 与结构测试共同强制执行架构约束，确定性工具替代模型自判断。
• “垃圾回收”是 Harness 的必要维护工序：AI 产生的技术债如同高息贷款，必须定期清理。

2. Mitchell Hashimoto — My AI Adoption Journey

核心论点：

• 提出 AI 采纳的 6 阶段路径：聊天 → Agent → 重复自己的工作 → 委托 → 工程化 → 持续运行，每阶段有不同的使用模式和配套工具。
• 给出 Harness Engineering 的操作性定义：“每当发现代理犯错时，花时间工程化解决方案防止再次出现”——这是目前最精炼的定义之一。
• 具体工具包括 AGENTS.md（隐性提示优化入口）和自动验证脚本（将人工检查转化为可重复运行的自动断言）。
• 关键反直觉洞见：理解何时不该使用 Agent 与掌握 Agent 使用同等重要，过度委托会累积不可控的技术债。

3. Martin Fowler — Harness Engineering

核心论点：

• 正式定义 Harness Engineering 为”约束和控制 AI 代理的工具和实践体系”，赋予概念学术合法性。
• 提出三层框架：上下文工程（喂什么给模型）+ 架构约束（限制模型能做什么）+ “垃圾回收”（清理 AI 产生的残渣）。
• 强调”确定性与 LLM 方法的混合”——不是用 AI 替代所有工具，而是在正确的节点插入确定性保障。
• 核心主张：设计环境和反馈循环比提升模型能力更关键，工程师的价值在于塑造约束，而非喂更好的 prompt。

4. Philipp Schmid — Agent Harness 2026

核心论点：

• 提出清晰的计算机系统类比：模型 = CPU，上下文窗口 = RAM，Harness = 操作系统，Agent = 应用程序——这个框架极大降低了概念理解门槛。
• Harness 的核心职责是”实现上下文工程策略”，管理信息在 RAM（上下文）中的装载、调度与清除。
• 三条设计策略：保持简洁（避免上下文膨胀）、模块化设计（可替换可测试）、数据导向（用数据而非直觉驱动优化）。
• 前瞻判断：Harness 捕获的 Agent 执行轨迹将成为公司的核心竞争优势，因为它既是调试工具也是训练数据。

5. Latent Space — Is Harness Engineering Real?

核心论点：

• 呈现”Big Model vs Big Harness”两派核心分歧：Noam Brown（OpenAI）代表的”模型派”认为更强模型将使复杂 Agent 框架过时；Jerry Liu（LlamaIndex）代表的”Harness 派”认为上下文工程能力是获取 AI 价值的最大瓶颈。
• 引用 METR 研究作为重要反例：Claude Code 与基础 scaffold 的 benchmark 性能差异不大，暗示 harness 对模型能力的放大效应有上限。
• Cursor $500 亿估值被解读为市场对”Harness 作为护城河”这一命题的投票。
• 社区采纳信号：AIE Europe 2026 首次设立 Harness Engineering 专题轨道，标志概念从 Twitter 讨论进入会议议程。

6. Stripe — Minions: How Stripe Uses AI Agents at Scale

核心论点：

• 每周合并超过 1000 个 AI 生成 PR，是目前公开披露规模最大的企业级 Agent 流水线之一。
• 基础设施核心是隔离 devbox（10 秒启动）+ 定制化 goose agent + MCP 协议连接 400+ 内部工具——标准化工具接口是规模化的前提。
• 架构原则”将 Agent 循环和确定性代码交错进行”，避免将全部逻辑托管给模型。
• “尽可能将反馈左移”：本地 linting 应在 5 秒内完成，最多允许两轮 CI 往返——量化了反馈速度的工程目标。

7. Cursor — Self-Driving Codebases

核心论点：

• 一周内协调数千个 AI Agent 完成约 1000 次提交，验证了”自驾代码库”不只是概念。
• 记录了四代架构演进：平等角色（混乱）→ 三层角色（稳定）→ 连续执行器（效率提升）→ 递归规划者 + 专职工作者（当前最优解），为 Harness 架构设计提供了演化路线图。
• 反脆弱性设计：系统必须容忍单个 Agent 失败而不级联崩溃，可靠性来自架构容错而非模型完美。
• 关键教训：“约束优于指令”——模糊指令会放大不良行为，明确的系统约束比更好的 prompt 更有效。

8. arXiv — OPENDEV: A Terminal-Native AI Coding Agent

核心论点：

• 提出工作负载特化模型路由机制，根据任务类型动态选择最合适的子模型，而非一律使用最强模型。
• 规划/执行分离的双 Agent 架构：一个 Agent 负责高层规划，另一个负责底层执行，职责隔离带来更稳定的输出。
• 惰性工具发现（Lazy Tool Discovery）：Agent 不在初始化时加载全部工具，而是按需发现，大幅降低上下文占用。
• 自适应上下文压缩 + 自动化记忆系统：两者结合解决长任务中的上下文衰减问题，代表终端原生 Agent 的系统性架构范式。

9. METR — SWE-bench Passing PRs Are Not Mergeable

核心论点：

• 约半数通过 SWE-bench 自动评分的 PR 实际上不会被真实代码库维护者合并，自动评分与维护者决策之间存在约 24 个百分点的系统性偏差。
• Claude Sonnet 4.5 的测试数据：自动评分约 70%，维护者实际审查通过率约 50%——两者的差距揭示了 benchmark 的结构性失真。
• 核心结论：benchmark 数字不能直接转化为实际可用性评估，任何以 SWE-bench 作为部署决策唯一依据的做法都存在高风险。
• 对 Harness Engineering 的直接含义：Harness 必须包含超出 benchmark 的真实验证层，AI 生成代码的质量门控不能外包给自动评分系统。

10. Anthropic — Harness Design for Long-Running Agent Applications

核心论点：

• 提出 GAN 启发的多 Agent 架构：规划者（Planner）+ 生成者（Generator）+ 评估者（Evaluator），三角色分离模拟生成对抗网络的内部校验机制。
• 识别长任务的两大根本失败模式：上下文衰减（随着上下文累积，模型行为逐渐漂移）和自我评估偏差（模型倾向于认为自己的输出质量更高）。
• 针对上下文衰减的解决方案是上下文重置（非压缩）：在关键节点完全清空并重新加载结构化状态，而非试图压缩保留所有历史。
• 核心设计原则：“找到最简单可行方案，仅在必要时增加复杂性”——过度设计会引入额外的失败点，与目标相悖。

二、扩展信息源（补充搜索）

11. Andrej Karpathy — Context Engineering 定义推文

核心论点：

• 明确推动”context engineering”取代”prompt engineering”。定义为”填充上下文窗口以包含恰当信息的精妙艺术与科学”。为 2026 年 harness engineering 概念铺设认知基础。

12. LangChain — Context Engineering for Agents

核心论点：

• 提出 Write/Select/Compress/Isolate 四策略框架。识别四种上下文退化：中毒、分散、混淆、冲突。Cognition 团队引用：上下文管理是构建 AI Agent 工程师的”#1 工作”。

13. Anthropic — Effective Context Engineering for AI Agents

核心论点：

• 将问题重新定义为”什么样的 context 配置最可能产生期望行为”。四大实践领域：系统提示校准、Token 高效工具设计、按需上下文检索、长任务管理。关键洞察：Transformer n² 注意力决定了上下文大小与注意力精度的根本张力。

14. HumanLayer — Skill Issue: Harness Engineering for Coding Agents

核心论点：

• Opus 4.6 仅改 harness 配置从 #33 跃升至 #5。六大配置杠杆：CLAUDE.md、MCP、Skills、Sub-Agents、Hooks、Back-Pressure。Sub-Agent 是”上下文防火墙”。反直觉发现：模型会”过度拟合其 harness”。

15. Charlie Guo (OpenAI) — The Emerging Harness Engineering Playbook

核心论点：

• 三标杆案例横向对比（OpenAI/OpenClaw/Stripe）。Attended vs Unattended Parallelization 区分。Brownfield 挑战：目前成功案例几乎全是 greenfield。Agent 技术债需专门”垃圾回收”机制。

16. Octopus Deploy — Harness Engineering: The Power of AI

核心论点：

• 从 DevOps/CD 视角审视 harness engineering。三大支柱：上下文工程、架构约束、熵管理。“环境可读性是让 AI Agent 交付可用软件的关键因素”。

17. arXiv — Natural-Language Agent Harnesses (NLAHs)

核心论点：

• 提出将 Agent harness 控制逻辑外部化为自然语言描述的可移植工件。设计 Intelligent Harness Runtime (IHR)。将 harness engineering 从实践推向理论化和标准化。

18. MIT Technology Review — From Vibe Coding to Context Engineering

核心论点：

• 记录 2025 年从 vibe coding 到 context engineering 的行业叙事转变。Vibe coding 搜索量飙升 6700% 但暴露反模式。

19. The New Stack — Context Is AI Coding’s Real Bottleneck

核心论点：

• 上下文差距是 2026 年 AI 编码真正瓶颈。AI Agent 缺乏工程师数周积累的隐性规则知识。

20. Epsilla — The Third Evolution

核心论点：

• 三阶段演化叙事：Prompt (2022-24) → Context (2025) → Harness (2026)。

21. 袁朝发 — Agent 不好用，也许不是模型的问题

核心论点：

• 中文社区首次系统阐述。Bitter Lesson 视角区分”会被淘汰的设计”vs”因物理限制持久的设计”。壁垒不是 prompt 而是执行轨迹数据。

22. 宝玉 (@dotey) — Harness Engineering 中文推介

核心论点：

• “马具”比喻做中文语义对接。预判 2026 年该词要火。

23. HN Discussion — Improving 15 LLMs at Coding

核心论点：

• 社区对”只改 harness 提升 15 个 LLM”的强烈认同。tree-sitter AST 优化实操经验。平台锁定担忧。

24. Louis-François Bouchard — The Missing Layer Behind AI Agents

核心论点：

• 最清晰的三层概念区分：prompt=问什么、context=发什么、harness=整个运行环境。程序员角色转变为设计 Agent “栖息地”。

信息源分布统计

注：P1 列计 7 项（含 Charlie Guo），P2 列计 6 项（含 Louis Bouchard），合计 24 篇源。

框架节点覆盖情况