【我的背景】我是一个搜索平台产品,主要负责评测平台、洞察平台(如线上大盘数据分析、用户搜索行为数据等)、线上结果干预平台、kbox线上卡片干预和配置平台,目前10-12月在做平台的大模型评测优化项目,【我的疑问】受限于自己的平台产品岗位,并不直接负责模型评测skill的开发功能

提问

AI根据立正公开的文章和视频整理,不是他本人回复

作为平台产品,你的核心产出不必是skill本身,而是让评测结果能改变决策:把抽样、评分标准、人工复核和干预配置串成一条可验证的闭环。

先找能由平台产品负责的产出

结合提问者的处境

你负责评测平台、洞察平台和干预配置平台,这恰好覆盖了评测从“发现问题”到“改变线上结果”的链路。Marco Casalaina 提到,基于评分标准的评估正成为行业趋势,因为通用指标不知道agent具体该做什么;他举公寓定价的例子:任务完成度会说“没问题”,但三居室价格偏得离谱,通用指标看不出来⁠1,2。这说明评测的关键不在跑分,而在评分标准是否贴合具体任务。你不写skill,仍可以负责:抽样哪些case、评分标准怎么定义和迭代、人工复核意见如何回流、评测结论如何进入干预配置。这是AI基于你的岗位做的推演,不是原文结论。

评分标准要靠真实错误迭代,不靠一次写对

Casalaina 说,先做初始评分标准、跑评估,难免还有错误;要让真实用户接触AI输出,并且不能只说“这个价格不对”,要说清原因,这个“为什么”以后写进评分标准,可能是修改已有维度,也可能是新增一项⁠3。对你的项目,这意味着skill没写完不一定是阻塞点:你可以先把“错在哪、为什么错”的结构化反馈做成平台能力,让评测业务写的skill有可迭代的输入。立正在另一期里也提醒,用几个固定规则或步骤教eval很难覆盖真实问题,应该根据实际问题去分析和develop评估方式⁠4。这是他对eval教学方法的判断,不是对你项目的评价。

把“决策有没有变好”当作验收标准

结合提问者的处境

立正转述并认同一个观点:数据科学家唯一的产品是更好的决策,如果决策没有变好,做的东西都是浪费的;他还说很多模型是fake work,因为大家只关注前面的模型和仪表盘,没真正关心决策⁠5。这里要区分:这是他本人在节目中的陈述,其中“唯一的产品”是他转述并明确认同的说法。套到你的处境:与其纠结自己没写过完整skill,不如选一个具体评测场景,记录评测结论是否真的改变了线上卡片配置或干预策略。查晟也强调evaluation是最重要的一环,决策错误往往说明evaluation这一步错了⁠6。一个可观察的反馈是:同一批case,评测前后干预配置是否有可解释的差异。

提供的片段没有涉及你所在平台的具体组织分工、agent链路现状或kbox配置细节,以上应用判断需结合你的实际权限和团队协作方式检验。

回到6份原文