我在公司负责做招聘和 BP,其中我需要对 候选人和新人 AI 素养评估,如何评估和测试候选人的 AI 素养?对方“构建“或”展示“类任务应该如何设置?这里可能有很多细节,想知道如何做,以及有没有推荐的资源,目前比较迷茫
提问
评估候选人 AI 素养,重点不是看他会不会用工具,而是看他能否把标准写清楚、用 AI 做出可验收的产出,并判断 AI 哪里不可靠。展示类任务让他现场拆解一个真实工作流;构建类任务让他做一个小型可评估闭环。
先定标准,再看表现
微软 CoreAI 副总裁 Marco Casalaina 把“先写评分标准(rubric)”列为通用最佳实践,并说试点期要收集真实用户反馈,再把反馈写回评分标准,让评估检验系统是否符合用户真正想要的行为1,2。他还提到,评估维护者(eval maintainer)正成为一种新岗位,M365 Copilot 有整支评估团队专门做这件事2。对你的招聘场景,这意味着:先为“AI 素养”写出几条可观察的评分项,再设计任务,而不是先出题再凭感觉打分。这是 AI 基于上述发言对招聘场景的推演。
展示类任务:看他能否从名词进入机制
材料里的观点立正给过一个具体的面试做法:给候选人一份很小的 AI 工作流材料,比如一份 CLAUDE.md、一个项目里的 agents.md,或一段真实项目的迭代记录,让他看几分钟,然后问:这里最关键的设计是什么、它解决的是哪个底层问题、迁移到自己项目会先改哪三件事、有什么风险、AI 反复犯同一个错时怎么约束它3。他观察到的差异是:有人只会复述“上下文、工作流、agent、prompt”这些名词,有人能看到动作——怎么给背景、怎么沉淀偏好、怎么把一次经验写成下次可复用的规则、怎么把“对话”变成“系统”3。这类题的好处是不需要候选人自带项目,也能看出他是识别概念还是理解机制。
构建类任务:做一个小闭环,而不是一个大 demo
AI推演立正讲过一个可迁移的结构:确定性的部分用程序做,规则不够用的部分交给 AI,最终判断留给人,人的反馈再回到 skill 和评估里4。他特别强调,不能只问一句“帮我找异常”,而要把判断标准写成 skill,加入成功和失败案例,构建 evals 量化测试 precision/recall,并观察换模型或 prompt 后是变好还是变差4。他还提到,只看评估结果、不盯每一步是可以的:写清目标和成功标准,用两百个案例加一个 LLM 当评委检查结果,花少量时间检查结果拿到全部成果,这才叫杠杆;中间步骤如果影响客户体验,就写进评估5。用于招聘时,可以给候选人一个小而真实的场景,要求他交付:判断标准、几个测试案例、一次失败案例的修正记录。这能同时看到他的拆解能力、验收意识和迭代习惯。这是 AI 对上述方法的招聘化应用。
现有材料没有给出完整的评估量表或现成题库,也没有区分候选人和新人的评估差异;上面的任务设计是把材料中的方法迁移到招聘场景的推演,需要你结合岗位自行校准。
回到5份原文
可回到原文核对这部分判断
支持“先写评分标准”和评估维护者作为新岗位的判断。
给出展示类面试题的具体问法和“名词 vs 机制”的判断依据。
提供构建类任务的核心结构:程序、AI、人分工,以及 skill 与 evals 的迭代闭环。
说明用案例加 LLM 评委检查结果、把关键中间步骤写进评估的做法。