关于PDF流水中关于消费的语义定义和分类,目前花了大量时间结合AI与人工处理,评分效果依然不够好,一部分原因受限于样本量,一部分原因是暂时无法标准化,如何通过AI执行与自审查的循环直到完成语义定义

提问

AI根据立正公开的文章和视频整理,不是他本人回复

先把“消费”的定义从AI手里拿回来,写成可读的判定文档和正反例,再让AI按它跑、人只审它拿不准的部分,用审出来的分歧反哺文档,循环才转得动。

标准没写下来,AI只能猜,循环就空转

你反复调AI却总差一点,常见原因不是提示词不好,而是判断标准还留在人脑里:什么算一笔消费、边界案例怎么归类、验收算对的标准,这些没变成AI能读到的文档,它只能猜,你只能一遍遍改。把消费的语义定义、分类规则、正反例、常见争议点写成结构化文档,是让循环能转起来的前提;写的过程本身也会逼你把没想清楚的标准想清楚⁠1,2。样本量不足和暂时无法标准化,往往也在这里暴露:哪些是真缺样本,哪些其实是标准没被写出来。

让AI只处理模糊部分,人审它拿不准的

材料里的观点

确定性的规则交给程序或脚本,AI处理规则不够用的地方,最终判断留给人。做法是把判断标准写成一个可迭代的skill,持续加入成功和失败案例,并建evals量化precision/recall,看换模型或提示词后是升还是降;人每次审出的结果都回到skill和评测里,成为下一轮材料⁠3。AI不必假装能拍板,它可以对能验证的部分给高置信判断,把不确定的surface出来交给人,人只审最值得看的那部分⁠3。这样循环的每一圈都在校准,而不是重复劳动。

先闭合一个小循环,别等全自动

结合提问者的处境

你现在的目标是“自动跑到完成”,但更现实的第一步是闭合一个小的判断—交付—反馈循环:选一批你已有人工结论的流水,让AI按文档跑一遍,你只审它和人工不一致的那几条,看分歧集中在哪类语义上⁠4。如果分歧反复出现在同一类边界,那是文档要补;如果分散,可能是样本或规则本身还没稳定。先做这一件,能帮你判断卡点到底在标准、样本还是流程,而不是继续在codex里追一个还不存在的全自动目标。

材料没有针对PDF流水或消费分类的具体做法,以上是把通用的AI与人协作、文档先行思路迁移到你的场景,样本量和标准化程度仍需你自己核对。

回到4份原文