Harness 有意義嗎? Model 提升會吃掉 harness,可是如果model 無限提升,agentic 的一切又有意義嗎
提问
Harness 有意义,但意义不在“替模型补短板”,而在承载模型升级解决不了的东西:业务标准、上下文、用户意图。模型越强,这部分积累反而越值钱。
会被吃掉的 harness 和吃不掉的 harness 是两回事
如果 harness 只是替当前模型补它暂时做不好的事,比如帮它数草莓里有几个 r,那模型一升级,这层脚手架就白搭了1。真正留下来的 harness 解决的是模型升级本身解决不了的问题:怎么拿到更好的用户输入、怎么理解用户意图、怎么积累记忆,以及一个行业里什么是好、什么是常见错误2,1。所以判断标准不是“这层东西会不会被模型吃掉”,而是“它依赖的是模型能力,还是依赖只有你才有的业务知识和上下文”。前者是短期的,后者会随模型变强而水涨船高。
积累要放在模型和 harness 之上
材料里的观点一个更稳的做法是把业务经验、任务标准和上下文放在模型与 harness 之外单独积累,让模型和 harness 都可以随时替换2。这样模型变强你受益,harness 变强你也受益,而不是押注某一个工具或某一代模型。写 skill 时也是这个逻辑:告诉 AI 什么是好的、什么是容易犯的错误,少教它具体怎么做,因为步骤写太多反而把模型限制在人能想到的做法里2。
“模型无限提升”是个假前提
模型能力不会无限提升,至少在小众领域会遇到数据不够、只能记住而无法泛化的问题3。而且应用层要解决的是限定问题域里的最优化,模型能力提升会让最终效果跟着提升,但不会替你定义问题域本身4。所以 agentic 的一切不会因为模型变强而失去意义——被替代的是那些只靠模型能力就能完成的部分,剩下的是定义问题、判断好坏、积累上下文这些模型不会自动替你做的事。
关于 harness 的定义在不同公司间并不统一,材料里也提到这个概念目前很少有人能讲清楚,具体含义需按你所在场景核对。
回到4份原文
区分“替模型补短板”和“模型升级解决不了的问题”,是判断 harness 会不会被吃掉的关键。
讲清 harness 与模型可以随时切换、积累应放在两者之上,以及 skill 该写什么不该写什么。
说明模型能力并非无限提升,小众领域会遇到数据不足和只能记忆无法泛化的问题。
解释应用层是限定问题域里的优化,模型能力提升会带动效果但不会替你定义问题。