AI总是在给了我一个解决方案,我试过之后猜发现哪里不好,怎么才能有效的评价AI给出的解决方案呢?比如工具的选择。尤其是一些技术细节,我并不知道这里的优劣之分。
提问
评价 AI 方案的关键,是先写清“什么算对”,再让 AI 给出可核对的依据;工具选择往往不是重点,先判断问题值不值得做、验收标准是什么。
先定验收标准,再让 AI 出方案
你试过才发现不好,通常是因为“好”的标准一直留在你脑子里,AI 只能猜。立正把这一点讲得很直接:决定输出质量的不是 prompt 写得多漂亮,而是 AI 执行时看到了什么信息;项目规范、验收标准、历史决策、约束条件都该写成 AI 能读的文档,读不到的信息对 AI 就等于不存在1。他也提到,很多人写这些文档时才发现,自己的“标准”其实从没被真正想清楚过2。所以评价方案前,先写下这次要满足的条件:输出长什么样、哪些维度必须比较、哪些边界不能碰。这就是他说的“结果导向指令”——规定做到什么算对,而不是逐步教它怎么做1。
技术细节不懂时,先问“这个问题值不值得解决”
关于工具选择,立正在视频里的判断是:先把问题非常清晰地描述出来,才能谈用什么工具解决;而且要先问这个问题值不值得被 AI 解决。他还说,Cursor、Claude Code、Codex 这些工具在基础能力上没有本质差距,那些断言某个工具特别强、另一个要死掉的人,往往举不出具体例子3。这是他的个人判断,不是对所有场景的定论。对你的技术细节困惑,可操作的用法是:让 AI 说明它选这个工具或方案的理由、适用条件和替代方案,再对照你的验收标准判断,而不是凭工具名气决定。
把评价变成看过程信息,而不是逐行审代码
AI推演立正提到,有效管理 AI 的方式是定义 evaluations、定义好还是不好,并通过一些过程信息判定结果,而不是审核 AI 的每一行代码,就像管理者不会盯着下属每一行代码4。应用到你的处境:让 AI 在给方案时附上关键取舍、假设和它自认为的风险点,你据此判断它是否满足你写下的标准。这样即使你不懂技术细节,也能评价“它有没有按约定条件做”。这是 AI 基于上述观点的应用建议,不是立正针对你问题的原话。
提供的片段没有给出具体技术工具的优劣对比,也没有针对“评价 AI 方案”的完整操作步骤;涉及工具能力的说法只是立正的个人判断,不能当作通用结论。
回到4份原文
说明输出质量取决于 AI 看到的信息,以及验收标准、结果导向指令的作用。
补充个体场景下把隐性标准显性化的过程与价值。
直接谈工具选择:先清晰描述问题,工具基础能力差距不大。
提出用 evaluations 和过程信息判断结果,而非逐行审核。