翁荔最新博客:我们可能高估了模型,却严重低估了那层“脚手架”
创始人
2026-07-08 04:33:48
0

几天前,前 OpenAI 安全研究副总裁、Thinking Machines Lab 联合创始人翁荔(Lilian Weng)发布了关于“Scaling Laws, Carefully”的技术博客。

近日,她又更新了一篇名为“Harness Engineering for Self-Improvement”的最新博客[1]。这次,她将焦点聚焦于一个 AI 领域火热讨论的议题——已成为当前 AI Agent 系统的重要工程层的 Harness Engineering。

如果说 Scaling Laws 决定了一代模型的天花板有多高,那 Harness 就是决定这个模型在现实任务中可以走多稳、多远的那层操作系统。

从翁荔这篇新博文可以看到的是,她试图在回答一个关键问题:在真正能够修改自身权重的“硬递归”仍十分遥远时,真正能够持续实现递归自我提升(RSI,Recursive Self-Improvement)的循环,是否可能先从模型外面的这层“脚手架”开始?

图丨相关博客文章(来源:https://lilianweng.github.io/posts/2026-07-04-ha

Harness 的概念,可以理解成包裹在大模型外的一套系统。它不只是简单的提示词模板,而是决定着模型如何思考和规划、调用哪些工具和行动、如何管理上下文和执行工作流的运行时环境。

翁荔在文章里提到,当下像 Claude Code 和 Codex 这类成功的编程智能体产品,它们的核心优势很大程度上来自精心设计的 Harness。

一个成熟的 Harness 类似于操作系统,它能封装复杂的逻辑,同时保持接口简单:让模型无需将整个工作流和所有日志都“塞”进有限的上下文窗口中,而是基于文件系统这类持久化存储来管理状态和产物。这种设计模式,让智能体能够处理更长周期的任务,在一定程度上可避免在长上下文的混乱中迷失。

(来源:https://openai.com/index/unrolling-the-codex-agent-loop/

沿着这个思路,翁荔系统梳理近期一系列相关的研究,总结出一条 Harness 从手工设计到自我优化的演进路线。在她看来,早期 Agentic Context Engineering 等框架的尝试,更像是将上下文当作一个不断演化的“操作手册”,通过生成、反思和筛选的循环,让模型可以从成功或失败的轨迹中提炼出结构化的要点,进而更有效地管理记忆。

(来源:https://github.com/yasasbanukaofficial/claude-code)

更进一步地,Meta Context Engineering 将上下文管理本身也变成了一个可优化的对象,让一个元智能体去搜索和改进管理上下文的“技能”,进而达到双层优化的目标。

而像 Meta-Harness 这样的工作,则直接将Harness 的代码作为一种搜索空间,让编码智能体进行编写、测试和迭代新的 Harness 代码,甚至能生成多个候选方案,并找出其中的帕累托最优解。

这种让智能体进行自身系统代码改进的思路,在进化搜索领域也有所体现。比如,Darwinian Gödel Machine 提出了一种让编码智能体能够修改自身 Harness 代码库的框架,通过一个基于性能排名的选择机制,不断产生新的版本。

实验表明,在 SWE-bench Verified 这类编程基准上,Darwinian Gödel Machine 发现的智能体可以达到 20% 到 50% 的通过率,与手工设计的智能体相当甚至更优。

不过,翁荔也强调,这并不意味着未来只优化 Harness。更长期来看,Harness 与模型权重的联合优化,仍可能成为递归自我提升的重要方向。

图丨智能体上下文工程的框架示意图(来源:https://arxiv.org/abs/2510.04618)

翁荔认为,这种“元方法论”的转向是当前最值得关注的趋势:我们不再只是让模型给出更好的答案,而是在制造一套能持续改进“如何获得更好答案”的机制。

在这个回路里,Harness 自身成为优化对象,逐步减少依赖人工编写的启发式规则,转向更多可自动搜索的通用机制;工程师的角色也从编写具体规则,转变为设计更通用的进化框架。

不过,翁荔并没有把这条路描绘成一条坦途。她在文章的后半部分,客观地列出了这项研究面临的一系列现实瓶颈。其中,最大的挑战之一来自评估。目前的自我改进循环在那些有明确、快速、客观评估指标的任务上效果显著,比如写代码、解数学题。

图丨元上下文工程的框架示意图(来源:https://arxiv.org/abs/2601.21557)

但如果面对模糊的判断,例如“这项研究是否有品味”“这个结果是否真的重要”,系统就很容易失效,甚至会为了实现通过测试的目标学会作弊,也就是所谓的“奖励黑客”。

安全则是另一个隐患。如果允许模型自由修改系统代码,抽象边界和权限控制就会被打破,可能引发灾难性后果。因此翁荔强调,人类的角色不是被排除在循环之外,而是需要向上移动,在环路外扮演架构师和方向指引者的角色,负责设计可编辑的边界和进行关键节点的审查。

在文章的结尾,翁荔并没有呈现迈向 RSI 的虚幻的愿景,而是列出了一份务实的挑战清单:如何设计好的评估器、如何管理上下文和长期任务的记忆、如何解决进化中的多样性坍缩、如何应对奖励黑客,以及如何平衡短期任务成功与代码库长期健康之间的关系。

她指出了一个容易被忽视的问题:目前的优化大多基于沙盒内的短期奖励,但现实中的软件工程需要兼顾可维护性、向后兼容性和未来开发负担。这些“长期成功”的指标,正是当前系统最不擅长处理的问题。

如果说上篇关于 Scaling Laws 的文章是在提醒大家,那个用于规划数十亿算力投资的公式没有想象中可靠,那么,这篇关于 Harness 的文章则更像是在告诉公众,通向递归自我提升的第一步,很可能并不是修改模型本身,而是先优化模型之外那个不起眼的 Harness。而这条路本身,也充满了需要小心绕开的“坑”。

或许,真正的 RSI 不是突然某天模型开始修改自己,而是悄悄开始于一次次 Harness 优化中。

参考资料:

1.https://lilianweng.github.io/posts/2026-07-04-harness/

排版:刘雅坤

注:封面/首图由AI辅助生成

相关内容

“拉索”首次“看清”黑洞如...
黑洞如何把粒子加速到宇宙最高能量?最新研究给出了答案。记者31日从...
2026-08-02 20:54:05
原创 ...
中国的卫星规模增长很快,从2024年的大约600颗活跃卫星,涨到了...
2026-08-02 20:51:49
北京小程序开发设计应用梳理...
北京小程序开发设计在实际落地中,通常需要结合具体业务场景考虑功能边...
2026-08-02 20:47:39
CI/CD流水线里的质量门...
搭建 CI/CD 流水线不难,难的是让它真正拦得住问题。不少团队的...
2026-08-02 20:24:37
边界消失之后:零信任、AI...
面对AI驱动的自动化攻击和不断消失的网络边界,"加固边界"这套沿用...
2026-08-02 20:24:20
测试工具选型避坑指南:低代...
每年都有大量"测试工具排行榜"流传,但真正让团队踩坑的,往往不是工...
2026-08-02 20:24:17
八部门连发新规、AI持续观...
当AI渗透进每一个数字场景,个人隐私面临的已不再是"信息被卖给广告...
2026-08-02 20:24:13
AI智能体自主发起攻击、水...
网络攻击正在经历一次范式转移。过去黑客需要人工探测、人工写脚本、人...
2026-08-02 20:24:04
从F5源代码被窃到2亿条社...
如果说2025年之前的数据泄露还只是"丢失一批用户信息",那么进入...
2026-08-02 20:23:56

热门资讯

“拉索”首次“看清”黑洞如何产... 黑洞如何把粒子加速到宇宙最高能量?最新研究给出了答案。记者31日从中国科学院高能物理研究所获悉,国家...
原创 中... 中国的卫星规模增长很快,从2024年的大约600颗活跃卫星,涨到了2026年的一千颗以上,主要靠国网...
北京小程序开发设计应用梳理:场... 北京小程序开发设计在实际落地中,通常需要结合具体业务场景考虑功能边界、系统兼容性与后期维护成本。无论...
实探ChinaJoy:消费端丰... 8月1日,第23届中国国际数码互动娱乐展览会(以下简称“ChinaJoy”)步入活动第二日,上海新国...
原创 时... 时速近9000公里。这就是一块报废的SpaceX火箭残骸将于下周三撞击月球时的速度。全球行星科学家数...
西安光机所在无标记三维显微成像... 本报讯(记者 关颖)近日,中国科学院西安光机所瞬态光学研究室姚保利研究员团队在无标记三维显微成像领域...
原创 刚... 这次,梁圣和他的DeepSeek立功了! 智能纪元AGI 8月1日消息,就在刚刚,特斯拉CEO、Sp...
一台苹果iPhone 17 P... IT之家 8 月 1 日消息,加拿大广播公司 (CBC) 昨日(7 月 31 日)发布视频,报道称一...
2026年靠谱之选:高性价比V... 对于拥有VERTU手机的精英人群来说,2026年选择一家靠谱的维修中心,早已不是简单的“修手机”,而...
复刻“老师傅”“看懂”流水线 ... 新疆川宁科技厂区里,数十台五层楼高的巨型发酵罐日夜不间断地运转。这套体量庞大的生产设备过去需要依靠老...