当 AI 写不准 SQL:从淘宝 OntSQL 看知识的可验证性

Cosolar 7 阅读 AI Agent数据库与中间件

当 AI 写不准 SQL:从淘宝 OntSQL 看"知识的可验证性"这条路线

参考来源:大淘宝技术 左文雯、张哲旸《基于本体的 AI 数据研发落地:淘宝行业经营分析实战》

一段 SQL,语法正确、执行成功、返回了一行漂亮的数字。然后你发现,这个数字是错的。

它不会报错,不会抛异常,不会在任何日志里留下一行红字。它只是安静地把一个错误结论送进看板,第二天被人拿去做了决策。这大概是数据开发里最危险的一类故障——所有的自动检查都显示一切正常。

阿里大淘宝技术的这篇实战文章,要解决的就是这种"一切正常但就是不对"。它把 AI 写 SQL 的错误归纳成三类——选错表、用错字段、口径对不上——然后给了它们一个共同的判决:

SQL 能正常执行、能返回结果、不报任何错,但数据就是不对。

这句话为什么值得当头一棒?因为它戳破了 AI 编程最舒服的那个幻觉——“能跑"不等于"对”。语法正确、结构完整、测试不报错,这些恰恰是大模型最擅长、也最容易让人放松警惕的部分。而真正决定这份 SQL 有没有价值的东西——用哪张表、取哪个字段、成交额是实付还是剔退款——模型根本不知道,因为它从来没在上下文里见过。

这正是过去两年"AI 写 SQL"demo 一片繁荣、生产落地却步步惊心的根本原因。demo 比的是语法,生产比的是口径。

我的核心判断是:这篇文章表面上在讲一个 Text2SQL 系统,实际上在回答一个更普适的问题——当你想把隐性业务知识喂给 AI 时,到底该把它编译成什么形态? 作者的答案很硬:不是自然语言文档,而是可被机器逐条回溯验证的结构化规则。

这个选择,是我认为整篇文章最值得学的地方。下面拆开讲。

一、问题定性:AI 缺的不是能力,是"从未出现在上下文里的约定"

原文的定性非常克制,也很准确:模型不缺代码生成能力,缺的是做出正确判断所需的业务知识。它甚至诚实地记录了一个对照实验的观察——换更强的模型后,选表和语法的稳定性确有提升,但指标口径仍然存在偏差。

品牌归一化的难点:表达碎片化、跨语言共指、母子品牌嵌套、归一化ID的权威性

这个观察很重要,因为它是整篇文章立论的支点。我用一句话概括:模型能力的天花板,不由模型决定,由上下文里有没有那条规则决定。 一条从没出现过的口径约定,你把模型从 Opus 换成更强的版本,它依然猜不出来——因为它不是"推断失败",而是"信息缺失"。

原文拆了两个案例,我觉得都值得记住:

  • “店铺类型”:听着语义明确,但在决策域、服饰行业、国际行业分别依据不同的分类字段判定。同一个业务概念对应多套判定逻辑,模型不知道当前需求该走哪套。
  • 全网品牌归一:“Apple"和"苹果”、"Nike"和"耐克"是跨语言同指,"宝洁"和"佳洁士"是母子品牌。模型看到的只是字面字符串,不知道这些隐藏映射关系,更不知道每种关系该用不同算法处理。

我的理解: 这两个案例分别代表了知识缺失的两种形态——第一种是"一词多义"(同一个词在不同场景有不同逻辑),第二种是"多词一义 + 隐含关系"(不同字面指向同一实体,且实体间有层级)。这两种恰恰是自然语言文档最难精确表达的东西——因为文档是写给人看的,人可以"意会",模型只会"字面匹配"。

这就把问题逼到了一个岔路口:既然文档不行,那知识该以什么形态存在?

二、路线之争:为什么作者否定了"文档编译成知识库"

这是我认为全文最有价值的章节,也是和当下主流做法正面交锋的地方。

原文对比了四种做法,我整理如下:

四种知识供给做法对比:DDL、人工整理知识库、文档编译知识库、从生产代码结构化抽取

(上图为原文对比表,核心结论我复述一遍:DDL 只有字段名和类型,没有口径,无从验证;人工知识库方向对但"写完很快过期";文档编译成知识库能查矛盾和过时内容,但产物仍是自然语言;只有第四种——从生产代码抽取结构化规则——才能"每条规则拿回 SQL 里对一遍,对不上就是模型编的"。)

作者没有一棍子打死文档编译路线,措辞很公允:"这个思路我们认可,本质上和我们一样,都是’先编译再查询’。"他给出的差异有两条:

  1. 知识来源不同:文档库依赖人写的文档,但生产中大量需求是语音会议达成共识、协作平台一句话描述就直接开发,很多口径根本没有文档,补齐文档的成本最高——所以选择直接读生产代码。
  2. 产物不同:文档编译产出自然语言知识页(如"按层级逐级匹配"),机器无法判断它和当前线上代码是否仍然一致;而他们的产物是结构化规则,带着 SQL 指纹和生产节点 ID。

我的判断: 第二条才是真正的分水岭。第一条是成本考量(补文档太贵),可以用"自动写文档"缓解;第二条是认识论层面的差异——自然语言描述和它描述的现实之间,没有可机器执行的校验关系。

这句话值得反复咀嚼:“一句话没法校验:说不出它对应 SQL 哪一段,也说不出有没有过期。”

我把这个洞察推广一层:过去一年我们看了很多"把知识编译成 Wiki / 知识页"的方案(包括我前两天写的 VeKnow 那篇),它们的共同瓶颈都在这里——编译产物是给人看的,人能读懂,但机器没法拿它去和真实世界对账。当这个知识要喂给另一个 Agent 使用时,它就只能靠"信任",而信任在长链条里会衰减。淘宝这套方案的本质,是把知识从"给人读的文本"变成"给机器验的证据"。

不过我要补一句公允话:作者自己承认文档编译方案"覆盖面更广、建设周期更短",而他们"更专注于 SQL 生成"。这不是一条通用路线胜出,而是一次场景化的取舍——当你的任务有唯一权威源(生产代码)时,可验证性压倒覆盖面;当你面对的是没有唯一源的组织知识时,文档编译仍是更务实的选择。这一点,作者在文中没有明说,但我认为是理解这篇的关键。

三、本体是什么:把"资深研发的直觉"变成可召回的资产

原文给本体下的定义很朴素:数据研发的"业务说明书"——把有经验研发脑海里的知识(有哪些核心表、每个字段什么含义、关键指标怎么算、历史有哪些坑、同类需求怎么写)变成团队共享、AI 可读的资产。

它明确区分了本体和几个相邻概念,我把那张表浓缩成一句话:

数据库管"数据在哪",语义层管"口径统一",知识图谱管"关系推理",本体管"让 AI 具备写对这类 SQL 所需的完整业务理解"。

本体与相邻概念的区别:数据库、语义层、知识图谱、语义网本体、Palantir Ontology

而它对 Palantir 三层本体框架的借鉴与改造,是我觉得工程上很有意思的一处。

Palantir 三层本体与面向数据研发的本体对照:语义层完全对应,动力层与治理层部分对应

三层架构详解:语义资产+业务规则 / SQL生成 / 飞轮闭环,定位为"世界理解型本体"

我的理解: 作者很清醒地把自己的东西定位成"世界理解型本体",而不是 Palantir 那种"分析+行动一体"的执行型本体——他们只做语义层(完全对应),动力层退化成 SQL 生成(不做业务执行动作),治理层退化成飞轮闭环(不含权限治理)。这种"知道自己不是什么"的克制,在工程文章里比"我们对标某某"要有价值得多。

本体承载五类知识,原文列得很清楚:

本体包含的五类知识:表本体、字段语义、指标口径、业务规则、生产证据

其中我想单独说**“生产证据”**这一类——血缘、值域分布、历史 SQL 惯用写法。这是我认为整套设计里最有巧思的部分。前四类(表、字段、指标、规则)是"应该怎样",而生产证据是"实际怎样"。比如某字段的值域画像会告诉你兜底值是什么、有哪些特殊编码;历史 SQL 写法会告诉你这个团队习惯怎么逐级降级去重。这类知识从来不在任何文档里,只存在于数据的实际状态和历史的写法里。

这呼应了我在《拆开研发数字人》里的判断:真正难复制的不是明面上的规则,而是"老手才知道的那些坑"。这里的生产证据,就是把那些坑数据化了。

四、构建:从核心表进入,用血缘滚雪球

原文讲本体从哪来,有个我认为非常值得学的工程决策:不靠人工逐条整理,而是从核心表进去,顺着血缘把上下游带出来。

本体构建入口:核心表+血缘,四成表靠血缘分析找出

原文给了个关键数字:最终本体里有四成的表,是靠血缘分析找出来、确认有价值后才建的。作者有句话很形象:“核心表决定从哪儿进去,上下游决定能捞回多少东西。”

我的理解: 这是一个典型的"种子 + 扩散"策略,它的聪明之处在于解决了冷启动的边界问题。如果让人列出"这个业务域有哪些表",人往往列不全,或者列出一堆不相关的;但让人指出几张"这个场景真正在用的核心表",这个判断很容易做。然后从这几张种子表顺着血缘扩散,机器负责把"可能相关的"都捞回来,人只在最后确认。

这跟知识图谱构建里的"seed expansion"是同一个思想,但落到了数据研发的具体场景里。它的本质是把"穷举"变成"滚雪球"——人对边界做小判断,机器对范围做大扩张。

4.1 关键决策:抽取成三元组,而不是一句话

这是全文技术含量最高的设计之一。作者不让模型写"自然语言描述规则",而是要求输出结构化三元组:

case_group:        shop_type                    # CASE组
branch_order:      1                            # 分支序号
condition_sql:     shop_name IN (条件A, 条件B)   # 判断条件
action_sql:        结论A                         # 结果动作
source_sql_hash:   bbbd38537a7ba41e             # 源码指纹
evidence_sql_node: 308513553                    # 生产节点ID

为什么这么做?原文的解释一针见血:“不是因为模型看不懂自然语言,而是一句话没法校验。”

我完全同意,并且想再推一层。这里其实藏着一个深刻的判断:结构化不是为了模型理解,而是为了程序验证。 自然语言对模型来说反而更好懂,但只有把规则拆成 condition + action + 指纹 + 节点 ID,才能:

  • 和 SQL 的 CASE WHEN 分支逐条对齐;
  • 用指纹发现"同一段逻辑说法变了但语义没变";
  • 用节点 ID 追溯到规则的出处;
  • 在代码变更后自动检测"规则是否已过期"。

我的判断: 这是一个"为校验而设计"的数据格式。它牺牲了可读性(人读三元组不如读句子),换来了机器可操作性——在"AI 生成、AI 消费"的链路里,这个交换是划算的。这也解释了为什么作者反复强调"我们要的不是给人看的文档,是机器自己能查的资产"。

4.2 三道校验关:专防模型幻觉

原文设计了三道关卡,我原样记录并附上我的理解:

关卡 做法 我的判断
对指纹 抹平空格/大小写差异后算指纹,同一段 SQL 的指纹必然一致 解决"表述差异",不是"语义差异"——是防误报,不是防错
回溯 SQL 把每条规则拿回生产 SQL 找落脚点,找不到就是模型编的,直接删 这是真正的防伪关,把知识锚定到唯一权威源
查格式 该填的字段填全、格式对不对 兜底的数据质量检查

作者给的实测数据很硬:品牌案例中人工写的规则,模型全都抽到了,指纹条条对得上;某核心表的关键分支规则,条条能对上 SQL,没有一条是多出来的。

我的理解: 这三道关里,第二道是灵魂。它建立了一个极强的约束——本体里的每一条知识,都必须能在生产代码里找到一个具体的落脚点;找不到,就不承认它是知识。这是一种"证据主义"的知识论:不信任模型的生成,只信任能回溯到源的抽取。

这跟我在《拆开研发数字人》里读到的"核心约束"和"确定性检索"是同一种气质,也与 VeKnow 那篇的"信息状态三分、来源可追溯"遥相呼应。这三篇文章连起来,其实是同一个时代精神的三个切面:当 AI 开始替人做判断,工程界的回应不是让它更自由,而是给它建立证据链和边界。

4.3 人工只在两处介入

原文说得很明确:只有两处需要人——核心表第一次进本体时(验证、复核、补充),线上发现生成不对时(判断是不是本体的问题)。其余拉元数据、抽规则、对指纹、回溯 SQL、表刷新后重检,全是机器跑。

我的判断: 这才是"可验证性"带来的真正红利。因为每条规则都能回溯到代码、能自动检测过期,所以系统敢把"维护"这件事大规模自动化。作者那句"原来最重的知识库维护工作,从人工整理变成了机器抽取加少量把关",不是口号——它是"可验证"这个前提的必然推论。你之所以敢让机器自动更新知识,是因为你能自动判断它更新得对不对。

五、使用:召回的哲学——给材料,不给硬规则

这一章有个我认为值得所有 Agent 设计者读三遍的设计决策,原文管它叫"召回给的是材料,不是硬规则"。

先看整体架构,本体资产层 + 按需召回 + 飞轮迭代三块:

本体资产层完整架构:核心语义资产、生产证据资产、资产管理与召回、七路召回包

本体资产五类知识的内容明细

5.1 为什么不能全给:注意力稀释

原文引用了一个业界的说法叫"注意力稀释"——上下文窗口的"物理容量"和"有效容量"是两回事,一个塞满无关信息的长上下文,有效容量可能还不如精心裁剪的短上下文。召回机制对应的是业界说的"渐进式披露(Progressive Disclosure)"。

我的理解: 这跟我之前写的《上下文不是历史》是同一个问题的两面。那篇文章讲"怎么把历史压缩到预算内",这里讲"怎么在生成前只加载相关知识"。两者共享一个假设:上下文是稀缺资源,稀释是主要风险。区别只在于,这里有一个明确的"知识仓库"可供检索,所以问题变成了"按什么粒度召回"。

原文给的例子很具体:七路并行召回(相似实现、时间切换、血缘、值域画像、表族等),相关度最高的表本体没有全复制,只挑了和本需求最相关的规则——而这些规则恰好就是这个需求最容易踩坑的地方。

七路召回结果明细:各 context 文件召回内容与命中说明

5.2 “给材料不给硬规则”:一次诚实的踩坑复盘

这是我最欣赏的一段,因为作者承认自己走过弯路:

早期试过把召回约束得很死,把规则写成必须遵守的指令,结果反而把模型能力限窄了:它从"聪明的 AI 工具"退化成"蠢笨的规则执行器",遇到规则没覆盖的情况就不会推理了,生成质量不升反降。

然后给了结论:与其用更多约束去堵错误的出口,不如把该看的资料找全,打开正确的入口。本体只负责供给证据,用不用、怎么用交给模型判断。

我的判断: 这个反思非常有价值,而且它和"上下文工程"主流叙事形成了有趣的张力。过去一年大家都在讲"把规则写进 system prompt"“用强约束保证输出稳定”,作者用亲身实验告诉你:强约束会把 Agent 降级成规则执行器,牺牲的是它处理长尾和未覆盖情况的能力。

但这里有个精妙的平衡,作者也写到了:“召回内部是确定性的程序逻辑,召回什么不由模型临场决定,同一个需求跑多少次结果都一样。”

也就是说,他们把"确定性"放在了信息供给层(召回什么,程序说了算),把"自主性"留给了推理层(怎么用,模型说了算)。这是一条我越来越确信的设计原则:确定性管输入,自主性管输出。给模型确定的材料,让它自由地得出结论;而不是给它自由的材料,再用规则锁住它的结论。

这跟上一篇文章里 agent-autoloop 的思路(平时 autonomy,拿不准才找人拍板)、VeKnow 的"缺关键信息就问用户,不自行猜测",指向的是同一个方向——好的 Agent 设计,是精准地分配"哪里确定、哪里自由"。

六、飞轮:把"越用越准"做成闭环

原文设计了三条反馈链路,把真实使用中的修正持续回注本体。

三条反馈链路:研发diff、评测集、线上日志汇入反馈池,人工确认后写回本体

链路 反馈源 我的理解
研发真实修改 diff AI 初稿 vs 最终上线 SQL 的差异 最高质量的信号——人的修改动作本身就是标注,不用额外成本
评测集驱动 扣分 case 拆成本体缺口/召回不足/模型误用/需求隐含条件 把"效果不好"这个模糊感受,拆成可归因的四个抽屉
线上使用日志 失败日志、人工修正、常见问法 覆盖真实但低频的长尾场景

作者那句"静态知识库一定会老化,代码重构了但知识没跟上,口径变了但规则还是旧的",是我非常认同的判断。任何不支持反馈闭环的知识工程,本质上都是在建一个会腐烂的资产。

我的判断: 三条链路里,第一条(diff)最优雅,因为它把"人工审核"这个本来纯消耗的动作,变成了一个零成本的数据标注过程——研发改了什么,本体就知道哪里错了。这是把工作流的副产品变成了燃料。这一点很值得做 Agent 产品的团队学:与其专门设计"请用户反馈"的入口,不如从用户不得不做的动作里提取信号。

七、评测:把"有没有用"变成可验证的数字

这一章我认为是全文最"工程"的部分,也是很多 AI 实践文章最缺的部分。

7.1 五层递进检测

原文把评测拆成五层,逐层校验:语法 → 表 → 字段 → 业务规则 → 数据结果。

五层递进检测项:语法、表、字段、业务规则、数据结果

其中业务规则层的检测方式很关键:“提取 GT 的 CASE WHEN / WHERE / JOIN 节点,逐条在生成 SQL 中定位”——这不是模糊的相似度打分,而是结构化的逐条比对。

评测过程还有两条硬规则,我认为是防止"评测作弊"的关键:

  1. 禁读 GT SQL,同时禁止通过节点 ID 反查代码,防止模型直接抄答案;
  2. 仅读当前版本本体,保证版本间可比。

我的理解: 这两条规则体现的是评测设计的专业性。第一条防的是"泄漏"——很多 AI 评测的虚高都来自测试集污染;第二条防的是"变量混乱"——不锁版本就没法归因到本体的贡献。做评测的人都知道,这两条说起来简单,做起来需要极强的工程纪律。

7.2 效果数据:诚实但有保留

原文给了几组实测数据,我原样呈现并附上我的读法:

无本体vs有本体的五维评测:语法8/8持平,选表7→8,字段4→7,业务规则2→3,数据结果2/8持平

有无本体的整体对比表:业务规则7/40→40/40

原文对数据的解读很诚实:业务规则维度"表面仅提升 1 分",但按"全部命中"计分——拆解看,无本体时 6 条规则只对了 1 条,有本体时 6 条全对。他们解释道:无本体时映射规则基本错误、代码不可用;有本体时,靠历史代码和值域分布补齐了原本靠猜的规则分支。

我的判断(这里我要提出一点保留意见):

第一,"7/40 → 40/40"这个数字很漂亮,但样本量看不出来。文中另一处评测表显示的是 8 条 case,那么这 40 分是来自 1 条复杂 case 的 6 条规则,还是 8 条 case 的汇总?原文的呈现方式容易让人高估统计显著性。我不是说数据不真实,而是说缺少样本量、方差、置信区间的数据,只能当案例看,不能当结论用。

第二,“数据结果"维度 2/8 持平,原文一笔带过。但这个维度恰恰是业务方唯一关心的——前面的选对表、用对字段、规则对,最终都是为了数据对。如果数据结果维度没提升,那说明本体解决了"过程正确”,但"结果正确"还有最后一公里的问题(可能是 SQL 执行引擎、数据质量、或评测集本身的问题)。作者没有展开,我认为这是最值得追问的一点。

第三,三张业务趋势图(需求量、开发周期、AI 行占比)都显示了 26-06 引入 AI 之后的明显改善——需求量提升数倍、单需求工时从 242 小时级别降到个位数小时、AI 行占比从个位数升到 80%+。但图表本身没有控制变量说明(业务量自然增长?团队规模变化?需求复杂度变化?)。这类前后对比图在内部汇报里有说服力,在技术分析里只能当参考。

研发周期 AI 辅助前后对比:单需求平均工时从 242 小时降至 4.98 小时

AI 行占比月度演进:从个位数提升至 89.8%

八、结尾的"重新定义":这句话我同意,但有个前提

原文结语说:模型承接确定性,人专注不确定性;数据研发从代码执行者转向规则定义者、从逻辑实现者升级为质量把关者。一句话——“AI 越强,系统越能把人定义清楚的东西执行好;而定义的精确程度,决定了产出的质量上限。”

这句话我完全同意,而且它和这三周我读到的另外两篇文章构成了完整的闭环:

  • 《拆开研发数字人》讲的是:把工程师的判断路径结构化,才是真正的资产;
  • 《VeKnow 工作上下文》讲的是:把散落的工作信息编译成可追溯的背景,才能让 AI 懂业务;
  • 这篇讲的是:把隐性业务规则抽取成可机器验证的本体,AI 才能写对 SQL。

三篇加起来,其实说的是同一件事:AI 落地的核心工作,是把人的隐性知识显性化、结构化、可验证化。 模型只是这个结构的消费端。

但我要给这个结论加一个前提条件,也是我读完整篇最想追问的:

"人定义规则"这件事,本身也需要知识、工具和激励。

原文说人工只在两处介入——核心表首次进本体、异常时看一眼。这意味着"定义规则"的工作大部分被自动化了,人只在关键点把关。这很美好,但它成立的前提是:血缘关系完整、代码是唯一权威源、规则能用三元组表达。一旦遇到"规则本身不存在于任何代码中,只存在于业务方的口头共识里"的情况——也就是 VeKnow 那篇文章处理的世界——这套方法的覆盖率就会下降。

所以我的结论是:OntSQL 这条路在"有唯一权威源(生产代码)"的场景里非常锋利,但不要把它当成通用知识工程方案。 它的锋利恰恰来自它的局限——因为只认代码这一个源,所以能做机器验证;也因为只认代码,所以覆盖不了那些从没写进代码的知识。

这是所有工程方案的共同宿命:优势与局限是同一枚硬币的两面。

九、我的三点感悟

9.1 可验证性,是知识工程从"艺术品"变成"工程"的分水岭

这篇文章最打动我的,是它对"一句话没法校验"的执着。自然语言知识像艺术品——仁者见仁,无法判定对错;结构化规则像工程件——有尺寸、有公差、可检测。当你想把知识交给机器批量使用时,它必须是后者。

这个标准可以用来自查你手上的知识库项目:你产出的知识,能不能拿回去和源数据逐条对账? 如果不能,它大概率只是一个更漂亮的文档库。

9.2 "给材料不给硬规则"是一次成熟的克制

一个团队愿意公开承认"早期把规则写死,结果把模型降级成执行器",是很难得的。它说明作者真的在迭代中观察过、反思过,而不是一路宣传方案有多好。

这个教训的普适版本是:当你发现自己在用越来越多的规则去防模型犯错时,先停下来想想,是不是该给它更好的材料而不是更多的锁链。

9.3 人与 AI 的分工线,画在"定义"和"执行"之间

原文那句"模型擅长执行已经被定义清楚的规则,而规则本身需要人来定义",我觉得是这三篇文章里最精炼的一句。它给了一个清晰的分工判据:

  • 能从既有信息检索出来、能复现的 → 交给 AI;
  • 需要价值判断、需要定义什么是"对"的 → 留给人。

AI 越强,这条线越往"定义"那一侧推——过去人既要定义规则又要写 SQL,现在人只定义规则。未来也许连规则的定义都能被 AI 辅助,但"什么算对"这个终极判断,恐怕始终得由人来做。

而这种"定义能力",恰恰是那些被 AI 替代不了的资深研发真正的核心竞争力。他们值钱的从来不是敲 SQL 的速度,而是知道"这个成交额口径应该用实付而不是应付,因为三个月前那次大促改过规则"——这种知识,就是 OntSQL 想抽取、却也提醒我们很难被完全抽取的东西。