怎么学习ai?学习agent?

提问

AI根据立正公开的文章和视频整理,不是他本人回复

学 AI 和学 Agent 的重点不是先背概念,而是围绕真实交付反复动手:把模糊需求拆成任务、定义“可用”、诊断失败、换题还能做。Agent 可以作为一个具体项目来练,但别把跟教程走一遍当成学会。

先换学习方式:AI 是手艺,不是课本

材料里的观点

立正把“学不会 AI”归因于学习方式:把 AI 当知识学科,懂概念、会解释,就以为能交付;课堂式学习还会把“我懂了”误当成“我会了”。他给出的检验标准是可迁移性——换任务、换工具、换领域还能交付,才算真的学会。真正练的是把模糊需求变成任务、定义什么叫可用、定位失败原因、在约束中迭代⁠1。这与“不学概念、学动作”的说法一致:名词有边界,学了 RAG 或 agent 不等于能解决问题,决定 AI 能力的恰是那些动作⁠2。

Agent 怎么练:围绕一个真实小项目跑循环

Agent 的核心是 agentic loop:围绕目标计划、行动、观察结果、更新状态,再决定是否继续⁠3。入门可以从一个真实小需求出发,比如自动搜集并筛选某类信息、整理成固定格式发给自己;重点不在界面,而在让它自主筛选、判断信息价值,并处理信源可靠性这类真实风险⁠3。立正也提到过用 Cursor Agent 做规划、搜索、使用工具、自动化执行,并对比 Cursor 与 Devin 来理解 Agent 自动化的关键步骤⁠4。这些是练习载体,不是“照抄就能会”的保证。

判断自己是否真会:撤掉帮助、换题再试

AI推演

立正给的标准是:撤掉帮助、过一段时间、换一道题,你还会,才算学会;做出来了只说明当下做得好。他还建议动手前先预测,做完再对照现实,判断力就是这样练出来的⁠5。放到你的学习上,可以每做完一个 Agent 小项目就换一个需求或数据源重做,看哪些步骤还需要回头查教程;需要查的部分,就是还没变成自己动作的部分。这是 AI 基于上述标准的应用建议。

现有片段只给出学习原则和项目案例,没有完整的 Agent 入门课程步骤;具体工具与课程内容以原视频和资料页为准。

回到5份原文

agent如何做eval?

追问

AI根据立正公开的文章和视频整理,不是他本人回复

Agent 评估不能只看“任务完成度”这类通用指标,要针对你的业务写出具体评分标准;同时别把 LLM 当裁判当成唯一答案。

通用指标不够,要写业务专属的评分标准

材料里的观点

Marco Casalaina 说,过去几年评估 Agent 主要靠一组通用指标:有据性、相关性、连贯性、工具选择、输入准确、输出利用、意图理解、任务完成度、任务遵循度等。这些指标由另一个“裁判模型”来打分,因为 Agent 是非确定性的,评估是概率性、统计性的,不是单元测试式的通过或失败⁠1,2。

他指出的根本缺陷是:这些指标不知道你的 Agent 具体该做什么。他举了公寓定价 Agent 的例子:Agent 交回一张填好价格的表,“任务完成度”会说没问题,但打开一看三居室价格偏得离谱,通用指标发现不了,因为它不懂公寓怎么定价⁠3。

他提到,最近约三个月行业在转向“基于评分标准、基于结果的评估”(rubric-based / outcome-based evaluation),微软 Foundry 也支持,这是行业趋势⁠1。这是嘉宾的判断,字幕未经逐字核实,时间和范围以他说的为准。

立正:eval 要按实际问题自己开发,别迷信现成方法

材料里的观点

立正在节目里说,他们第一期的课就强调“做任何东西都必须带 evals”。他描述市面上常见的做法是沿用机器学习那套:准备数据集或测试集,用 GPT 之类的模型当裁判打分,跑一条 pipeline 看哪个 prompt 或模型更好⁠4。

他不赞成用几条规则或几个步骤把 eval 教成固定流程,而是希望人根据实际问题去分析和开发自己的评估方式。他举的例子是:模型把 Apple 理解错,改 prompt 后 golden dataset 分数上去了,但新用户说的 Apple 是手机,又错了⁠5。

他还批评“AI eval 有现成方法”的宣传,认为这会让人误以为照 best practice 做就行;他尤其不信任 LLM-as-a-judge,理由是用模型的结果验证模型的结果,会继承模型本身的缺陷⁠5。这些是立正本人的观点,不是对嘉宾说法的认可。

落到自己项目上,可以这样起步

AI推演

综合以上,给一个可操作的起点(这是 AI 的应用建议,不是原文处方):先写下你的 Agent 在真实业务里“做对了”长什么样,最好具体到能检查的结果,比如价格落在合理区间、引用的资料确实存在、该停的时候停。这就是你的评分标准雏形,比套用通用指标更能抓住《AI在大企业中的应用才刚刚开始,人才供不应求?》⁠3里那种“表格交回来了但内容是错的”问题。

然后准备一批带正确答案或可核对依据的样例,覆盖你担心的边界情况,每次改 prompt、换模型都跑一遍对比。《AI Agent 时代的 FDE》⁠6提到 Agent 上线后模型、API、prompt 和 eval 的实践都会变,eval 需要持续更新,不是一次做完。

对 LLM 当裁判要保留怀疑:可以用它做初筛,但关键判断最好有人工抽查或可验证的依据,这与立正对 LLM-as-a-judge 的保留一致⁠5。

Marco 的说法来自视频字幕,未经逐字核实,具体指标名称和“过去三个月”的时间判断可能有出入。立正的观点来自播客转写,部分相邻发言未确认归属,未用于回答。

回到6份原文