了解ai的底层

提问

AI根据立正公开的文章和视频整理,不是他本人回复

“底层”在这批材料里有两个入口:一是模型为什么能学(Hinton 的信念),二是用 AI 时真正决定成败的上下文与任务处理方式。想动手理解,从后者入手更快见效。

底层分两层:模型原理与使用原理

一层是模型本身为什么成立。刘嘉教授研究 Hinton 多年,认为支撑他熬过 AI 寒冬的不是“这个方法现在有效”,而是一个更深的信念:大脑由神经元连接构成,智能从结构中涌现,那么模拟这个结构,智能就没有不出现的理由⁠1。这解释的是神经网络这条路为什么值得走,属于原理层。另一层是使用层:真正拉开差距的不是多知道 agent、harness 这类名词,而是处理任务的方式——什么时候多给上下文、什么时候少给,复杂任务怎么拆,哪些环节必须人判断,出错时能定位是模型能力不够、上下文没给够,还是中间环节出了问题⁠2。想“了解底层”,先想清楚你要的是哪一层。

上下文是使用层最实的底层

材料里的观点

把上下文管好,是使用层里最接近“底层”的一件事。有材料把上下文基础设施拆成三层:概念层画出团队的上下文散落在哪、哪些该被日常调用、哪些该长期沉淀;技术层做分层记忆、按需加载、持续提炼和规范注入;工具层用具体工具和流程把它跑起来⁠3。核心判断是 AI 的上下文窗口有限,全塞进去会撑爆,什么都不给又等于空壳,所以要让它自动找到并加载刚好够用的那部分⁠3。如果你只是想理解 AI 怎么被用好,这一层比模型参数更值得先看。

材料没有覆盖模型训练、数学原理等更技术性的底层内容,Hinton 那部分也只是信念层面的转述。

回到3份原文