如何做好 data agent?
提问
做好 data agent 的关键不在模型多强,而在先把数据关系建模成图、在生成查询外加一层审计纠错,并把上线后的持续调优当成常态。
先建语义层,再让 agent 取数
材料里的观点未末在访谈中讲 AMD 案例时,把做法分成两层。第一层是 ontology:给所有表做 graph modeling,也就是定义数据实体的语义和实体之间的关系,这本身已经是一张图。第二层是在引擎上加 semantic layer 做审计,当 agent 生成错误 query 时,在外面 reject 掉,把 error message 发回去让它 self-correction。未末说这听上去 naive,但帮很多大客户把 agent system 部署到了生产环境1。
按图查询有两个好处:生成的 query 会沿关系走,基本不会 join 错 table;错误的 graph pattern 在语义层就被拦下。立正在文中把它总结成两道关卡:先验证这句话的逻辑是否 make sense,再验证对应哪张表、怎么取数1。这是立正对未末做法的归纳,不是未末原话。
验收标准用真实问题,而不是 demo
未末提到他们签合同前有个固定环节:让客户的 stakeholder random ask question,如果所有问题都能答对,基本就很有希望拿下合同。对一个卖复杂关系查询的产品来说,这是很诚实的验收方式1。
这条经验可以迁移:data agent 做得好不好,看它能否回答业务方随口提出的真实问题,而不是看演示脚本跑得顺不顺。
上线只是开始,要持续运营
Jove 在 FDE 那期指出,AI agent 和传统企业软件不同:模型版本、API、成本、voice engine、prompt 和 eval 的最佳实践都在变,不改可能就用不了。所以需要不停 engage FDE,用对的模型把事情越做越好,这不是一锤子买卖2。立正在文中认同并延伸了这个判断,认为上线后还要做模型迁移、成本优化、延迟优化、prompt 调整、eval 更新和 edge case 修复。
立正还在另一处说,agent 没有 magic,它是大语言模型加现有工具一点点做上去的,别指望它今天就做好;要用 builder 心态反复迭代,而不是 user 心态吐槽产品3。这两点合起来说明:data agent 的成败很大程度取决于上线后的持续调优,而不是一次交付。
现有片段只覆盖了图建模加审计这一条路径和持续运营的必要性,没有涉及具体工具选型、权限设计或成本估算;若要落地,还需补充这些方面的资料。
回到3份原文
AMD 案例完整讲了 ontology、semantic layer 审计和 stakeholder 随机提问验收,是 data agent 落地最具体的材料。
说明 AI agent 上线后为何需要持续运营,支撑“不是一锤子买卖”的判断。
立正关于 agent 没有 magic、要用 builder 心态迭代的表述,解释为何要接受反复调试。