知识不是搜出来的,是被编译出来的:拆解淘宝 LiveX Wiki 的 Agent 知识库

Cosolar 5 阅读 AI Agent提示词与上下文工程

一个需求飘到 Coding Agent 面前:改掉直播间评论区的一条互动规则。PRD 写得清楚,函数签名给了,测试用例也给了。Agent 很快写完、提交——然后线上炸了。

不是逻辑写错。是它不知道这条规则被一个实验开关罩着,不知道同一个行为在 Web 和 App 两端走了两套实现,也不知道半年前一次兼容改动留了个特殊分支。这些知识,PRD 里没有,代码里搜不全,散落在三个仓库的配置、五次历史提交,和某个老员工的记忆里。

这不是模型能力的问题。你把模型换成更强的那一档,它照样踩坑——因为这些知识从来没出现在它的上下文里,它不是推断失败,而是压根无从推断。

淘天集团直播互动团队把这件事做成了 LiveX Wiki。读完他们那篇很克制的实践文章,我的判断是:这不是又一个 RAG 知识库。它真正做的,是把业务知识当成一门"语言"来编译——从散落的源码、PRD 和人的经验里,编译出一套有身份、有依赖、可核验、能随代码一起演进的中间表示,供 Agent 按需消费。

这篇文章我想讲清楚三件事:为什么"搜到"从来不等于"用对";这套"知识编译"到底是怎么运转的;以及我从那些诚实的数字里读出来的、比方案本身更值得记住的东西。

一、RAG 的致命错觉:“搜到"从来不等于"用对”

先钉一个数字,它比任何架构图都更能说明问题。

团队统计了 2026 年 7~9 月的知识检索记录:知识相关率从 25.45% 涨到 42.20%,知识库支撑占比从 44.23% 涨到 55.87%——两条曲线都在往上走,看起来一切向好。但同一时间窗口里,知识采纳率始终在 20.54%~28.05% 之间原地徘徊。

我把这三个数字并排放出来,是因为它们构成了一个尖锐的矛盾:召回的东西越来越相关、越来越多任务靠知识库支撑,但 Agent 真正采纳的比例,一动不动。

这就是 RAG 在复杂业务编码里的致命错觉——它把"语义相似"当成了"业务可用"。这在人找资料的场景里基本成立:搜到一篇相关文档,人自己会补全场景、判断边界、核对时效。但 Agent 不会。它拿到一段"语义相似"的片段,缺了三样东西:

  • 身份:这段知识属于哪个页面、哪条业务行为?没有归属,Agent 就得在任务里临时拼装;
  • 关系:它和谁依赖、被谁调用、影响了哪条链路?缺了关系,影响分析就得重新调查一遍;
  • 时效:它是哪个版本的事实,现在还成立吗?没有版本锚点,旧知识和现状冲突时 Agent 只能自己猜。

原文的总结很到位:RAG 返回的是点状知识。它解决了"能不能搜到",没解决"能不能按业务结构理解"。而复杂业务编码的难点,恰恰全在后面这半句。

所以团队的优化重点从"扩大召回"转向了"按业务场景组织上下文"。这个转向,是理解整个 LiveX Wiki 的钥匙。

diagram

二、我的核心判断:它其实是一台"知识编译器"

把 LiveX Wiki 仅仅看成"更好的知识库",会漏掉它最有价值的部分。我更愿意把它理解成一条编译流水线——和编译器把源码变成机器码的过程,几乎一一对应。

编译器不直接执行源码,它先做词法、语法分析,生成中间表示(IR),再做优化,最后产出目标代码。LiveX Wiki 做的事是同构的:

编译器的概念 LiveX Wiki 里的对应物 解决的问题
源码 散落的仓库代码、PRD、技术方案、人的经验 原始材料,混乱且分散
前端分析 LLM 跨源调查 + 人工定边界 从材料里理解业务语义
中间表示 IR "域—场景—知识"三层 + OKF 式 frontmatter 机器可解析的身份、边界、依赖
分析 / 优化 pass 回源核验、影响分析 检查知识对当前任务是否成立
目标代码 Agent 针对本次需求的代码变更 真正要交付的东西
版本控制 VCS Git 的差异、评审、合入、回退 让知识像代码一样演进

这个隐喻不是文字游戏,它解释了很多设计选择。

比如为什么要用 Markdown + YAML frontmatter,而不是存进向量库或者图数据库?因为编译器需要一份人能审阅、程序能检查、Agent 能按结构读取的 IR。纯自然语言是人读的,向量是机器算的,而 frontmatter 是三方都能理解的契约——身份声明、来源定位、依赖关系都写在里面。

比如为什么"场景"是核心单元,而不是类、方法或某个知识点?因为 IR 需要一个语义完整、可独立核验的粒度。一个类、一个方法只是实现细节,脱离了页面和业务行为就没有完整语义;而一次业务变更的影响范围,天然是按场景划定的。

再比如为什么要 Git 治理?因为只要把知识当成"编译产物",它就必然面临源码面临的所有问题:谁改的、改了什么、为什么不回退、合入前谁审过。Git 不是给知识库"加个版本功能",它是让知识具备工程属性的基础设施。

想通这一层,整篇文章的四个维度——建模、生产、消费、迭代——就不再是四个孤立的选择,而是一条流水线上的四道工序:建模定义 IR,生产生成 IR,消费使用 IR,迭代维护 IR。

diagram

三、为什么是"场景":知识单元的粒度决定了整个系统的上限

如果只能从这篇文章里带走一个设计决策,我会选这个:用业务场景作为核心知识单元。

原文的分层是"业务域—业务场景—共享知识",看起来平平无奇,但背后的取舍很讲究。我按我的理解拆一下这三层各自解决什么:

  • 业务域回答"归谁管"。它声明职责、边界、维护人和场景入口,承担第一次知识披露——让 Agent 用极少的上下文(每域一行摘要)就能选定调查范围;
  • 业务场景回答"这份理解是什么"。它是页面或系统职责的全景,内部沿"真实接口 → 服务编排 → 核心模块 → 底部依赖"建立查证路径,按"可独立理解、可明确归责、可单独核验"来划分;
  • 共享知识回答"什么能被复用"。平台接入、规范、通用概念独立维护,通过已核实的直接依赖被场景引用——关键是不复制,复制一份就会各自过期。

这里有个非常实际的权衡,原文说得很透:场景太大,每次变化都要扩大核验范围;场景太小,又退化成需要临时拼装的碎片。粒度定在哪,直接决定了知识是"资产"还是"负担"。

那怎么定粒度?团队给了两个锚点,我觉得是全文最实用的经验之一:

页面聚合是确定业务范围的方法,真实接口链是落到技术事实的方法。

先用页面把业务边界框住(保证语义完整),再用真实接口链把实现钉死(保证入口准确)。两者配合,既不空泛,也不琐碎。

原文还有一句我特别认同的判断:归属回答"由谁维护",依赖回答"变化后还要调查哪里"。这一句把知识图谱里那两种线——虚线的领域归属、实线的直接依赖——的意义讲透了。一个共享能力被哪些场景引用、依赖是否跨越了领域边界,顺着连线就能查。这不是为了画图好看,是为了变更影响分析。

还有个容易被忽略的细节:原文强调了知识图谱的两种布局——有机布局和依赖层次布局,且名称标识都做了脱敏。这个脱敏本身也说明了一件事:这类业务知识是真正的组织资产,敏感度足以让大厂在大范围分享时隐去名字。

四、“读到了"和"核实了”,是两个不同的完成条件

这是全文我认为最锋利的一句话,原文几乎是当作箴言写出来的:

读到了知识,和核实了实现,是两个不同的完成条件。

为什么这句话重要?因为它划清了一条线:知识库不是事实源,它是导航系统。

导航系统告诉你"这个场景的入口在哪、接口链怎么走、依赖谁",但它不保证当前事实还和地图一致。代码每天都在变,配置随时在调。如果 Agent 把知识里的结论直接当事实用,就等于拿着去年的地图开今年的路。

所以团队设计的消费协议,是"层次索引 + Agentic Search + 回源核验"的组合,而且每一步都有明确的停止条件。我把原文的五步消费流程整理出来:

步骤 读什么 解决什么
1. 发现域 每域一行的名称、别名、摘要 用极少上下文锁定业务范围
2. 选择场景 展开候选域,完整读边界与命中场景 避免关键词片段脱离业务语义
3. 按需求选链 从接口清单定位核心链,读节点/边/控制项 把业务问题落到实现入口
4. 展开必要依赖 只查已声明的直接依赖 补齐共享知识,避免全图加载
5. 回源核验 建立"导航断言—当前事实—核验结论"对应关系 判断知识对本次任务是否成立

这里有三个我认为很关键、但容易被跳过的设计:

第一,"渐进披露"不是摘要替代上下文。 原文特意强调:选中场景后仍需全文理解其边界,不能拿摘要当上下文。这是对的——摘要只负责"选",不负责"懂"。把摘要喂给 Agent 去做实现判断,等于让人看了一眼目录就开始写代码。

第二,知识库保持只读。 原文写得很克制:“避免任务内推测直接变成共享事实”。这一条是整套系统的防火墙。Agent 在一次任务里的临时推断,哪怕看起来再合理,也不能写回共享知识——否则一次错误推断就会污染后续所有任务,而且会像谣言一样在依赖图里扩散。

第三,停止条件是显式的。 证据齐备就停;重复或未命中就结束扩展并报告缺口;来源不可达时,不把"查不到"推断成"没有影响"。最后这一句尤其老练——它是对大模型"过度推断"倾向的定向防御。查不到 ≠ 不存在,这个区分在业务代码里是安全底线。

diagram
回源核验这个设计,让我立刻联想到之前分析过的淘宝 OntSQL——那篇文章的核心也是"知识的可验证性"。两次不约而同地强调"可回源、可核验",指向的是同一个趋势:2026 年的 AI 工程实践,正在把"让模型相信什么"这件事,从提示词艺术变成工程纪律。知识不再是喂给模型的"补给品",而是需要版本、来源和证据链的一等公民。

五、让知识像代码一样演进:Git 不是点缀,是地基

冷启动建好场景地图,只是开始。真正难的是让地图跟上业务变化——这正是绝大多数知识库项目死掉的地方:建的时候轰轰烈烈,三个月后没人维护,慢慢变成误导人的废品。

团队把这件事拆成三个动作,我认为是全文工程含金量最高的部分:

知识自更新:从场景登记的源码仓库和核验提交出发,固定目标分支的新提交,调查两个版本间的变化,按场景汇总跨仓影响,把代码 diff 转成"需要重新核验的知识范围"。这里有个细节我很欣赏——只有知识表达确实需要变化时才产生提交。不做无意义的 churn,这是把代码提交的纪律搬到了知识上。

知识自审查:定期回源,从两个方向查——一是逐项核对已记录的接口、调用、底部依赖;二是重新枚举入口、注册点、调用方和策略实现,主动找遗漏。为什么要有第二个方向?因为只沿已有定位符追 diff,永远发现不了地图之外的链路。这是一个很深刻的观察:基于地图的维护,天然无法发现地图的错误。甚至连"近期没有代码提交的场景"也要查——因为运行控制(实验开关、配置)仍可能变化。

Git 治理:自更新和自审查都先形成候选,每个场景用独立候选分支、工作区、评审,经过结构检查和质量门禁后才发布。主分支前进或候选提交改变时,重新同步并核验,确保最终合入的就是本轮核验过的内容。

这三件事共用一个契约(生产契约)和一道门(发布门禁),规则由仓库级的 AGENTS.md(定义入口、读取顺序、行为边界)和 MAINTENANCE.md(定义生产、维护、发布流程)统一承接,能力封装成统一的 Skill 对 Agent 提供。

我想强调的是:这套设计里,自动化承担的是重复调查和一致性检查,而业务歧义与知识准确性的责任,始终落在一个具体的人身上。这不是技术不自信,而是对问题本质的清醒——Git 和 CI 能保证差异可追溯、结构可检查,但它们无法判断一条业务规则是否正确。机器保证过程,人负责真相,这个分工这才是这套系统能长期可信的根本。

六、比 39% 更值得记住的,是那些"诚实"

端到端生码测评的结果很亮眼:两批对照中,LiveX Wiki 综合得分较无知识库基线分别相对提升 54.5% 和 23.8%,较既有 RAG 分别提升 44.3% 和 15.9%——平均下来,就是摘要里那个 39.15% 和 30.1%。需求路由测评里,覆盖到位的场景链路 F1 约为全量基准的 1.38 倍,没覆盖到的只有约 0.10 倍(按原文的归一化口径),差了一个数量级。

这些数字说明方案有效。但我更想说的是,这篇文章真正让我起敬的,是作者在数字面前表现出的克制,这三点比任何提升幅度都值得记住:

一是只做同批次对照,不跨批次比较。 原文明确写:不同批次的需求组成和评测条件可能存在差异,所以只比较同批次对照结果,不在时间和空间维度论述批次差异。在一个动不动就"提升 300%"的宣传环境里,这种主动给自己的结论划定适用边界的做法,非常罕见。

二是主动揭示 GT 泄露风险。 团队检查评测输入是否泄露了目标实现,避免把"答案提示"误判成"知识收益"。这是在认真防止自己骗自己——因为知识库评测太容易设计成"只要把答案塞进知识库,分数就涨"的自证循环。

三是坦承局限,不粉饰。 场景边界需要人参与、覆盖补齐需要投入、依赖图可能遗漏未建模关系、模型核验依赖来源可达、Git 与 CI 不能保证业务判断正确——作者把这些一条条摆出来,最后落到一句:“必须引入人来为知识准确性负责与兜底。”

还有一点我注意到了:作者把"Agent 行为"也列为问题来源——“场景选对了,却还是用错或忽略了知识”。这个观察很实在。它承认了再好的知识库,也要面对 Agent 的执行不确定性。所以他们提出要建立在线和离线的知识消费观测体系。知识工程做到最后,还是要回到对 Agent 行为本身的观测和调优——这不是知识库能替你解决的。

需求路由测评里那个"区分知识覆盖与定位能力"的设计,也体现了同样的严谨:把需求按"GT 全部已覆盖"和"GT 含未覆盖"分组,分别算 F1。因为如果混在一起算,你分不清一次定位失败,到底是"知识库里根本没这条知识"(覆盖问题),还是"有知识但没找到"(定位问题)。这两种问题的解法完全不同——前者要补覆盖,后者要调索引和别名。评测设计能区分 Failure 类型,才谈得上"指导改进",否则只是一个漂亮但无用的分数。

写在最后

回到开头那个翻车的 Agent。

它缺的从来不是更聪明的模型,而是一张有人负责、可核验、能跟代码一起演进的业务地图。LiveX Wiki 给出的是一套把这张地图"编译"出来的工程方法:用场景做语义完整的知识单元,用 frontmatter 做三方共读的 IR,用回源核验守住知识的边界,用 Git 把知识纳入工程治理。

我从这套方案里读到的,其实是一个更大的趋势判断:AI Coding 的下一战场,不在模型参数里,而在上下文的工程化里。当模型能力逐渐拉平,决定代码产出质量的,是你能否把组织里那些隐性、分散、易过期的业务知识,转化成机器可理解、可核验、可持续维护的工程产物。

知识不该是喂给 AI 的一次性补给品。它应该和代码一样,有身份、有版本、有测试、有责任人——被当成一门语言,认真地编译。