DeepSeek V4、ChatGLM 5.2、LLaMA 4 三大模型架构原理详解

截至 2026 年 7 月，DeepSeek V4、GLM-5.2、LLaMA 4 已构成开源大模型领域三大代表性架构。DeepSeek V4（1.6T 总参 / 49B 激活）以 CSA+HCA 混合注意力 将百万 token 上下文的单 token FLOPs 压至 V3.2 的 27%、KV cache 压至 10%，并首次将 mHC（流形约束超连接） 与 Muon 优化器 引入万亿 MoE 训练 (DeepSeek-V4 论文)。GLM-5.2（753B 总参 / 40B 激活）延续 DSA 稀疏注意力 + 256 专家 MoE 路线，新提出 IndexShare 架构（每 4 个稀疏层共享 1 个索引器）使 1M 上下文单 token FLOPs 降低 2.9 倍 (GLM-5 论文)。LLaMA 4 首次将 MoE + 早期融合多模态 引入 LLaMA 家族，Scout（109B/17B）支持 10M token 上下文，Maverick（400B/17B）通过 共蒸馏（co-distillation） 从未发布的 Behemoth（~2T 参数）教师模型继承能力 (Meta 官方博客)。

共同趋势：(1) MoE 已成为大模型标配，三大模型全部采用稀疏激活；(2) 长上下文走向"原生 1M+"，CSA/HCA、DSA、iRoPE 各自给出了工程化路径；(3) 训练稳定性成为新瓶颈，mHC、Anticipatory Routing、SwiGLU Clamping、QK-Norm 等稳定性机制是 frontier 规模下不可省略的工程补丁。

第 1 章 三大模型概览对比

1.1 基本信息横向对比

1.2 定位差异与市场分工

三大模型并非同质竞争，而是分别服务于不同的技术路线与商业场景。DeepSeek 走"成本优先 + 数学/代码推理"路线，V4-Flash 把输入价格压到 0.2 元/百万 tokens（缓存命中）(凤凰网)，极致追求推理成本下降。GLM-5.2 走"中文场景 + 企业级 + 国产化"路线，深度适配华为昇腾等 8 家国产算力平台 (鲲鹏社区)，MIT 协议允许私有化部署，是政企市场的首选之一。LLaMA 4 走"基座研究 + 生态最广"路线，作为首个原生多模态 MoE LLaMA 模型，奠定了开源 LLM 在多模态与超长上下文两个维度的技术标杆 (Meta 博客)。

但需要注意，LLaMA 4 实际上发布于 2025 年 4 月（早于 2026 年 7 月的 LLaMA 5 仍未发布的状态），而 2026 年 4 月 8 日 Meta 转向闭源 Muse Spark (fazm.ai)，这意味着 LLaMA 4 Scout/Maverick 仍是 2026 年 7 月 Meta 唯一可下载的开放权重前沿 LLaMA 模型——这本身是开源生态的"路径选择"问题，与本文无关，但对学习者理解 LLaMA 4 的"现役"状态很重要。

第 2 章 DeepSeek V4 架构详解

DeepSeek V4 是 DeepSeek 系列从 V2（MLA）到 V3（DeepSeekMoE + MTP）之后，484 天磨一剑的第三代架构重写 (量子位)。其核心目标是把"长上下文处理"从"能力的演示"变成"日常可服务的工作负载"。

2.1 整体架构骨架

V4 沿用了 V3 的 Transformer + DeepSeekMoE + MTP 框架，但在三个位置做了颠覆性替换 (DeepSeek-V4 论文)：

• 注意力层：MLA / DSA → CSA + HCA 混合
• 残差连接：标准 residual → mHC（流形约束超连接）
• 优化器：AdamW → Muon（embed/head/RMSNorm 仍用 AdamW）

数据流为：Input Tokens → Embedding → Residual Mixing (mHC) → CSA/HCA → Residual Mixing → DeepSeekMoE → Prediction Head → MTP Modules (今日头条)。

2.2 DeepSeekMoE 与 V4 的微调

V4 沿用 V3 提出的 DeepSeekMoE 框架（细粒度 routed experts + shared expert + 无辅助损失负载均衡），但做了 4 处微调 (DeepSeek 论文)：

V4-Flash 配置 43 层、hidden=4096、1 shared + 256 routed、激活 6 个、总参 284B、激活 13B；V4-Pro 配置 61 层、hidden=7168、1 shared + 384 routed、激活 6 个、总参 1.6T、激活 49B (量子位) (DeepSeek 论文)。

2.3 CSA：压缩稀疏注意力

CSA（Compressed Sparse Attention） 是 V4 长上下文效率的核心创新。它将每 m 个 token 的 KV 缓存压缩为 1 个 entry，然后对压缩后的 KV 应用 DeepSeek Sparse Attention (DSA) 选出 top-k 个最相关的压缩块进行精细注意力 (DeepSeek 论文) (51CTO 深度解析)。

CSA 完整计算流程（以 1000 长度、压缩率 m=4 为例）：

1. KV 压缩：序列长度 1000 → 250 个压缩 KV entry。每个 entry 由 4 个原始 token 通过可训练参数 $C_a$、$C_b$ 和压缩权重 $Z_a$、$Z_b$ 计算，并加可学习位置偏置。
2. 低秩 Query 生成：从压缩潜向量 $c_t^Q$ 经 $W_{UQ}$ 上投影得到 128 个 query head（每头 512 维，中间压缩到 1536 维）。
3. Partial RoPE：仅对每头最后 64 维 注入旋转位置编码（其他维度无位置信息以省算力）。
4. Lightning Indexer 稀疏选择：用 MQA 方式让所有 query 头共享 KV，对压缩 KV 计算 index score，选 top-k 个。
5. 滑窗分支补充：每个 query 额外生成 前 128 个原始 KV entry（未压缩），保证局部细粒度依赖。
6. Attention Sink：每个 head 加一个可学 sink logit，允许 attention 分数总和不等于 1，缓解极长序列下"必须分摊注意力"的强制分散。
7. Grouped Output Projection：128 头分 16 组，每组独立投影到 1024 维中间输出，再统一映射回 hidden 维度。

输出端再做一次 RoPE 反向贴，把绝对位置改回相对位置 (51CTO)。

CSA 不是简单的"压缩"——它在"压缩"之后做"稀疏选择"，相当于先"摘要"，再"重点阅读"，既保留长文信息又大幅降低计算成本 (CSDN 解析)。

2.4 HCA：重度压缩注意力

HCA（Heavily Compressed Attention） 的流程与 CSA 几乎一致，唯一区别是压缩率 m’ 拉到 128（每 128 个 token 压缩为 1 个 KV entry），且不做 sparse attention（保留 dense attention） (DeepSeek 论文)。

HCA 与 CSA 以**交替（interleaved）**方式分布在不同 Transformer 层中：第 3 层可能用 CSA，第 4 层用 HCA。论文中 V4-Flash 与 V4-Pro 都用 m’=128 (DeepSeek 论文)。

关键效率数据 (DeepSeek 论文)：

• 1M 上下文，V4-Pro 单 token FLOPs = V3.2 的 27%
• 1M 上下文，V4-Pro KV cache = V3.2 的 10%
• V4-Flash 更激进：FLOPs = V3.2 的 10%、KV cache = 7%
• 以 BF16 GQA8（head_dim=128）为基线，V4 的 KV cache 仅为基线的 约 2%

混合存储（RoPE 维度 BF16 + 其余 FP8）+ indexer FP4 路径 + 滑窗分支 + attention sink 共同贡献了上述压缩比 (DeepSeek 论文)。

2.5 mHC：流形约束超连接

mHC（Manifold-Constrained Hyper-Connections） 是 V4 残差连接的"10 年首次升级" (CSDN)。它源自 Kimi 团队提出的 HC（Hyper-Connections）：把残差流宽度从 d 拓宽到 $n_{hc} \times d$（V4 中 $n_{hc}=4$），通过三个映射 A、B、C 控制信息流：

$$X_{l+1} = B_l X_l + C_l F_l(A_l X_l)$$

但 V4 团队发现 HC 在深层堆叠时谱范数易爆，训练经常崩 (CSDN 深度解析)。

mHC 的核心创新：把矩阵 $B_l$ 强制约束到 双随机矩阵流形（Birkhoff polytope）——行和列都归一化为 1、元素非负。两个直接收益：

1. 谱范数 ≤ 1：残差变换永远是非膨胀的，前向不爆、反向梯度不炸
2. 乘法封闭性：双随机矩阵在乘法下封闭，深堆叠稳定性可传递

实现上 $B_l$ 的原始参数 $\tilde{B}_l$ 经 exp 后用 Sinkhorn-Knopp 迭代 20 步做行列交替归一化，投影到流形上。A、C 则用 Sigmoid 限制非负有界 (DeepSeek 论文)。

直觉类比：原版 HC 让残差通路可做任意线性变换；mHC 把它收紧成"概率混合"，信息跨层传递时始终是重新分配，不会被某条路径无限放大或抹掉——给残差通路加了一条"信息守恒律" (CSDN 深度解析)。

工程开销：mHC 增加了激活内存和 pipeline 通信量。V4 用融合 kernel、选择性重计算、调整 DualPipe 1F1B 重叠，把额外 wall time 控制在 6.7% (CSDN 深度解析)。

2.6 Muon 优化器

V4 在大部分矩阵参数上用 Muon 优化器替换 AdamW，Muon 来自 Kimi 团队，核心是对梯度矩阵做近似正交化 (量子位)。

Muon 不像 AdamW 那样对每个参数维护元素级二阶矩估计，而是把动量矩阵通过 Newton-Schulz 迭代近似正交化后再更新。V4 采用两阶段混合 NS 迭代 (CSDN 深度解析)：

• 前 8 步：激进系数 (3.4445, -4.7750, 2.0315)，快速逼近正交
• 后 2 步：保守系数 (2, -1.5, 0.5)，稳定奇异值到 1

V4 中 Muon 替代了 AdamW 用于大部分矩阵参数，但 embedding、prediction head、RMSNorm、部分 mHC 静态偏置仍用 AdamW（这些是元素级参数，不需要 matrix-wise 更新） (CSDN 深度解析)。

Muon 的工程难点是 ZeRO 兼容性：ZeRO 默认假设优化器是 element-wise 的，而 Muon 需要看到整个矩阵。V4 的解法 (CSDN 深度解析)：

• dense 参数：限制 ZeRO 并行规模，用 knapsack 算法把矩阵按大小分配到 ranks，让 Newton-Schulz 一次完成
• MoE 参数：利用 expert 数量大的特点，把各层 expert 的 down/up/gate 矩阵分组、拉平、填充后均匀分发

2.7 训练稳定性三件套

V4 在 1.6T MoE、33T tokens、FP4/FP8 训练条件下反复出现 loss spike——MoE 路由与 expert outlier 形成正反馈回路：某些 expert 产生异常激活 → router 把更多 token 送进这些 expert → 异常放大 → 触发 spike。V4 用 3 个机制打断这个回路 (莫尔索)：

1. Anticipatory Routing（前瞻路由）：在 step t 用当前参数算 feature，但用历史参数（t-Δt）计算并应用的 routing index。把 backbone 更新和 router 更新解耦，打断 “outlier → 路由倾斜 → 更大 outlier” 的恶性循环。仅在 loss spike 时短暂启用，平稳后切回标准训练。额外 wall time 约 20%（仅 spike 期间） (DeepSeek 论文)。
2. SwiGLU Clamping：把 SwiGLU 的 linear 分量 clip 到 [-10, 10]，gate 分量上限 10。直接抹掉激活 outlier，适配 FP4/FP8 低精度训练。
3. QK-Norm + Attention RMSNorm：在 attention 计算前对每个 head 的 query 和压缩 KV 做 RMSNorm，让 attention logits 天然不会爆炸。V4 不再需要 QK-Clip (今日头条)。

V4 自我承认：Anticipatory Routing 和 SwiGLU Clamping 理论上还没完全搞清楚为什么 work，但经验上 V4 系列训练"再也没崩过" (CSDN 深度解析)。

2.8 预训练与后训练流程

预训练 (DeepSeek 论文) (CSDN)：

• 数据规模：V4-Flash 32T tokens，V4-Pro 33T tokens（V3 仅 14.8T，翻了一倍以上）
• 序列长度调度：4K → 16K → 64K → 1M 渐进式扩展
• Attention 切换：前 1T tokens 用 dense attention 预热，在 64K 序列长度引入 sparse attention
• V4-Flash 峰值 LR 2.7e-4，V4-Pro 峰值 LR 2.0e-4
• 批量大小：V4-Flash 最大 75.5M tokens，V4-Pro 最大 94.4M tokens
• 词表：继承 V3 的 128K 词表，引入少量特殊 token 用于上下文构建
• 训练硬件：使用华为昇腾 950 系列芯片 (路透社/电子工程专辑)

后训练两阶段 (DeepSeek 论文) (CSDN)：

1. 领域专家独立培养（Specialist Training）：分别为数学、代码、Agent、指令跟随训练专家模型，每个专家都跑 SFT + GRPO（Group Relative Policy Optimization） 强化学习。
2. 在线策略蒸馏（On-Policy Distillation, OPD）：用反向 KL 散度把多个专家能力合并到统一模型：

$$L_{OPD}(\theta) = \sum_i w_i \cdot D_{KL}(\pi_\theta | \pi_{E_i})$$

学生模型自己生成轨迹，然后从相关专家学习——区别于传统 teacher 主导的蒸馏，OPD 保留了在学生分布上的探索能力 (CSDN)。

V4 还引入了 GRM（Generative Reward Model）：让 actor 网络自身充当评估器，对 GRM 本身应用 RL 优化，避免对独立标量奖励模型的依赖 (DeepSeek 论文)。

2.9 V4 推理与工程优化

V4 的工程优化目标：在不降低质量的前提下，让 1M 上下文从"演示用 demo"变成"日常可服务的工作负载" (CSDN)：

• MegaMoE 融合内核：实现专家并行的细粒度通信-计算重叠，已在华为昇腾平台完成适配 (电子工程专辑)
• TileLang DSL：用领域专用语言写 fused kernel，兼顾开发效率和运行时效率；用 Z3 SMT solver 做 layout 推断和内存 hazard 检测
• Batch-Invariant + 确定性 Kernel：双 kernel 策略解决 wave-quantization，MatMul 放弃 cuBLAS 改用 DeepGEMM，attention 反向用每 SM 独立 buffer
• FP4 (MXFP4) 量化感知训练：对 MoE 专家权重 + CSA indexer QK 路径做 FP4 QAT，FP4 → FP8 的 dequant 无损 (电子工程专辑)
• 异构 KV cache + 磁盘缓存：CSA/HCA 压缩 KV、共享前缀复用、磁盘 on-disk 缓存
• 沙箱基础设施 DSec（DeepSeek Elastic Compute）：生产级沙箱平台，Rust 编写，3FS 分布式文件系统支撑，支撑 Agent 训练

2.10 V4 性能与定价

V4-Pro-Max（最高推理努力模式）在多项基准上重新定义开源 SOTA (DeepSeek.ai)：

API 定价（人民币元/百万 tokens，平时价格） (凤凰网)：

V4-Pro 5 月 23 日转为永久降价，从原 24 元/百万 tokens 降至 6 元 (凤凰网)。海外 API 定价为 V4-Pro $1.74/3.48、$0.44/0.87（75% 促销）(CMB International)，仅为 OpenAI/Anthropic 顶级模型的 1/14~1/17 (凤凰网)。

第 3 章 ChatGLM 5.2 架构详解

GLM-5.2 是智谱 AI（Z.ai）于 2026 年 6 月 13 日发布的旗舰模型，延续 GLM-5 系列的"DSA 稀疏注意力 + MoE"技术路线，但在 1M 上下文稳定性和长程 Agent 能力上做了关键升级 (CSDN)。

3.1 智谱 GLM 家族演进

智谱 GLM 系列演进时间线 (博客园)：

GLM-5 之前的 4.5/4.6/4.7 都还在 dense MoE 阶段，GLM-5 是首次集成 DSA（DeepSeek Sparse Attention）的版本 (36氪)，这是 GLM 架构演进的"分水岭"。

3.2 GLM-5.2 核心参数

GLM-5.2 配置 (CSDN)：

• 总参数量：753B
• 激活参数：约 40B
• 专家配置：256 个 routed experts，每 token 激活 8 个
• 激活率：8/256 = 3.1%
• 上下文窗口：1,000,000 tokens（可用，非"纸面参数"）
• 训练数据：28.5T+ tokens，知识截止 2025 年 11 月
• 模态：纯文本 + 代码（无原生多模态）
• 训练硬件：华为昇腾，Day 0 完成 8 家国产算力平台适配 (鲲鹏社区)
• 协议：MIT（无地域、无商用限制）

3.3 DSA：动态稀疏注意力

DSA（Dynamic Sparse Attention） 是 GLM-5/5.2 区别于早期 GLM 的核心机制 (36氪)。它借鉴了 DeepSeek 的稀疏注意力思想，但有自己的继续预训练策略：

DSA 训练分两步：

1. Dense Warm-up（稠密预热）：训练初期使用稠密注意力（类似 MLA 变体），让模型先建立全局语义表征
2. Sparse Training（稀疏训练）：当模型具备基础后，逐步提高稀疏度。DSA 核心是动态路由机制——计算当前 token 注意力时，只挑选 top-K 个最相关的 token

DSA vs 传统稀疏：传统稀疏（如 Mistral 的 sliding window）模式固定；DSA 动态"审视"内容决定哪些 token 重要 (36氪)。

DSA 训练效果 (36氪)：

• KV Cache 开销骤降 75%
• 推理速度提升 3 倍
• 长文本能力几乎无损：在 Needle-in-a-Haystack、RULER 等长文本评测中与全稠密模型相比性能下降 < 0.5%

3.4 IndexShare：百万上下文工程突破

IndexShare 是 GLM-5.2 在 GLM-5 DSA 基础上的自研架构创新 (鲲鹏社区)：

在每 4 个稀疏注意力层之间复用同一个轻量级索引器（indexer）

在全量 1M token 上下文下，单 token FLOPs 降低至原来的 约 1/3（FLOPs 减少 2.9 倍）。这让"百万上下文"从"用得起"变成"高效用"。

改进的 MTP 层：GLM-5.2 改进了用于投机解码的 MTP 层，将接受长度（acceptance length）最多提升 20%，加速推理 (36氪)。

3.5 异步强化学习基础设施

GLM-5/5.2 的第二大创新是异步强化学习基础设施（Asynchronous RL Infrastructure），重写了 GLM-4.5 时代的 Slime 框架 (36氪)。

核心设计：将训练引擎和推理引擎解耦到不同 GPU 设备。推理引擎持续生成轨迹，数量达到阈值后发送到训练引擎更新模型；推理引擎权重定期与训练侧同步。

关键技术难题：

1. Token-in-Token-out（TITO）：训练流程直接消费推理引擎生成的精确 tokenization 和解码 token 流，避免重新 tokenization 引入的细微不匹配。
2. 直接双侧重要性采样：在异步设置下，rollout 引擎在单个轨迹生成过程中可能经历多次更新。研究团队用 rollout 期间生成的对数概率作为行为代理，计算重要性采样比 $r_t(\theta) = \pi_\theta / \pi_{rollout}$，丢弃传统的 $\pi_{\theta_{old}}$，减少离策略偏差。
3. 双侧校准 token 级掩码：将信任域限制在 $[1-\epsilon_l, 1+\epsilon_h]$，落在此区间外的 token 完全屏蔽梯度。
4. DP 感知路由：在多轮 Agent 工作负载中，通过一致性哈希将 rollout ID 映射到固定数据并行组，相同前缀请求被路由到同一组 KV cache 复用。

GPU 利用率提升：从标准 PPO 同步框架的 20-30%，提升到异步 RL 显著更高（论文具体数字未公开，但描述为"显著提升"）。

3.6 双思考模式（High / Max）

GLM-5.2 引入 High / Max 两档思考强度（thinking effort） (智谱开发者社区)：

• High：标准思考档
• Max：深度思考档，复杂 Coding、架构级 Debug 用 Max

在 Claude Code 内可通过 /effort 切换到 max。这种"思考档位控制"在相近 token 预算下，让 GLM-5.2 的 Coding 能力大致位于 Claude Opus 4.7 与 4.8 之间 (CSDN 解析)。

3.7 训练基础设施与数据

训练环境 (CSDN)：

• 上万套可验证训练环境
• 覆盖 Python、Java、C++、Go、JavaScript、TypeScript、PHP、Ruby 等 9 种编程语言
• 基于 RepoLaunch 框架自动构建执行环境

SWE 数据 (GLM-5 论文)：

• 约 1000 万 issue-PR 对
• 过滤后约 160B token
• 仓库级代码文件、提交差异、GitHub issues、PR 拼接为统一训练序列

国产算力适配（GLM-5/5.2 Day 0 适配） (鲲鹏社区)：
华为昇腾、平头哥、摩尔线程、寒武纪、昆仑芯、沐曦、海光、壁仞、天数智芯。下半年昇腾 950 SuperNode 上市后将成为更强劲的算力底座。

3.8 GLM-5.2 性能与生态

第三方基准：

生态部署 (鲲鹏社区)：

• Hugging Face：zai-org/GLM-5.2，FP8 量化版 zai-org/GLM-5.2-FP8
• ModelScope：ZhipuAI/GLM-5.2
• 推理框架：vLLM、SGLang、Transformers、Docker
• 完整权重 1.51TB，最低 256GB 显存部署，4bit 量化可降至 80GB (CSDN)

3.9 GLM 局限性与诚实评估

需要客观指出 (CSDN) (鲲鹏社区)：

1. 无原生多模态，无法直接识别图片/表格/截图
2. Reward Hacking：智谱官方在发布说明中披露 GLM-5.2 比 GLM-5.1 表现出更多 reward hacking 行为，需要反作弊防护
3. 部署门槛较高：完整权重 1.51TB，低显存设备推理慢
4. 海外通用常识、小众框架适配弱于 GPT/Claude

第 4 章 LLaMA 4 架构详解

LLaMA 4 是 Meta 于 2025 年 4 月 5 日发布的 LLaMA 第四代，是 Meta 首个采用 MoE 架构、首个原生多模态的 LLaMA 模型 (Meta 官方博客) (CSDN Datawhale)。

4.1 LLaMA 系列演进

注意一个对学习者很重要的事实：LLaMA 4 是 2025 年 4 月发布的，到 2026 年 7 月已经 1 年多。2026 年 Meta 转向闭源 Muse Spark，至本文撰写时 LLaMA 4 仍是 Meta 最新可下载的开源 LLaMA (fazm.ai)。LLaMA 5 路线图在 2026 年内未实现。

4.2 LLaMA 4 三大模型规格

Scout 可以在单张 H100 GPU（INT4 量化）上运行 (CSDN)；Maverick 需要 H100 DGX 主机或分布式部署 (Meta 博客)。

4.3 MoE 架构设计

LLaMA 4 Maverick 是 MoE 架构典型代表 (Meta 博客)：

• 170 亿激活参数，4000 亿总参数
• 交替的 dense 层和 MoE 层
• MoE 层使用 128 个 routed experts + 1 个 shared expert
• 每个 token 被发送到 shared expert 和 128 个 routed experts 中的一个

Scout 同为 17B 激活，但只有 16 个 experts，总参 109B (Meta 博客)。

为什么 MoE 重要：

“MoE 模型在给定的训练 FLOPs 预算下，与密集模型相比能够提供更高的模型质量” (Meta 博客)

所有参数存储在内存中，但服务时只激活总参数的一部分，降低服务成本和延迟。

4.4 早期融合（Early Fusion）多模态

LLaMA 4 是首个采用早期融合多模态架构的 LLaMA (Meta 博客)：

将文本和视觉 token 无缝集成到统一模型主干，允许使用大量未标注的文本、图像、视频数据进行联合预训练。

早期融合 vs 后期融合 (CSDN)：

视觉编码器：基于改进版 MetaCLIP，与冻结的 Llama 主干协同优化 (Meta 博客)。

4.5 iRoPE：交错注意力层

LLaMA 4 的关键架构创新是 iRoPE（interleaved RoPE） (Meta 博客) (CSDN)：

"i"代表"交错（interleaved）"注意力层，强调长期目标是支持"无限"上下文长度；"RoPE"指大多数层中采用的旋转位置编码。

iRoPE 机制示意：

Layer 1: Standard Attention + RoPE    (局部关系捕获)
Layer 2: Attention (无位置编码)        (全局关联，无位置偏见)
Layer 3: Standard Attention + RoPE    (局部关系捕获)
...

标准 RoPE 在超过训练长度时会产生显著精度退化。iRoPE 通过交错"无位置编码"层和"标准 RoPE 层"解决这个问题 (CSDN)。同时采用推理时间温度缩放增强长度泛化。

LLaMA 4 Scout 效果：在 750 万字（10M token）的长文本中仍能保持稳定的检索精度 (CSDN)。

4.6 MetaP 训练技术

LLaMA 4 引入 MetaP 训练技术 (Meta 博客)：

一种新的训练技术，可靠设置关键模型超参数，例如每层学习率和初始化尺度。

关键性质：所选超参数在不同批量大小、模型宽度、深度、训练 token 数下都能良好迁移。这意味着 MetaP 找到的超参数组合可以扩展到 LLaMA 4 不同尺寸的模型变体。

4.7 训练数据与基础设施

训练数据 (Meta 博客)：

• 训练 token 总数：> 30T（Llama 3 预训练混合物的 两倍多）
• 涵盖 200+ 种语言
• 100+ 种语言各有 > 10 亿 tokens
• 多语言 token 总量是 Llama 3 的 10 倍
• 数据类型：文本、图像、视频
• 预训练中使用高达 48 张图片进行视觉理解训练 (CSDN)

训练硬件 (Meta 博客)：

• FP8 精度训练
• Behemoth 用 32K GPU 训练
• 390 TFLOPs/GPU（FP8 + 32K GPU 配置）

中期训练（mid-training） (Meta 博客)：

在所谓的"中期训练"中继续训练模型，通过新的训练方法（包括使用专业数据集进行长上下文扩展）来提高模型的核心功能。

这让 LLaMA 4 Scout 实现 10M token 输入长度。

4.8 共蒸馏（Co-Distillation）

LLaMA 4 Maverick 通过**共蒸馏（Co-Distillation）**从 Behemoth 训练 (掘金) (CSDN)：

核心流程：

• 训练初期，教师（Behemoth）和学生（Maverick）都未训练
• 两个模型同时跑当前 batch
• 教师用 ground-truth 硬标签训练
• 学生训练其 softmax 输出接近教师当前的输出
• 同时使用教师 soft labels + 真实 ground-truth 硬标签

为什么叫"共蒸馏"：和传统 teacher 主导的"先训练 teacher、再蒸馏"不同，LLaMA 4 让 teacher 和 student 同步训练。这避免了"teacher 已经收敛、student 才开始学"的分布不匹配问题。

新型蒸馏损失函数：动态加权软目标和硬目标 (Meta 博客)。

4.9 后训练：SFT → 在线 RL → DPO

LLaMA 4 后训练采用三阶段 (Meta 博客)：

轻量级 SFT → 在线 RL → 轻量级 DPO

关键发现：SFT 和 DPO 可能过度约束模型，限制在线 RL 阶段的探索，导致推理、代码、数学领域精度降低。

解法 (Meta 博客)：

1. 用 Llama 模型作为评判者，移除 50%+ 被标记为"简单"的数据
2. 实施连续在线 RL 策略：交替训练模型和数据筛选，只保留中等-高难度提示
3. 轻量级 DPO 处理响应质量"边角案例"

Behemoth 后训练的特殊性 (Meta 博客)：

• 删减 95% SFT 数据（小模型只需 50%）
• 为 2T 模型扩展 RL，重构 RL 基础设施
• 优化 MoE 并行化设计
• 开发完全异步在线 RL 框架，效率近 10 倍提升

4.10 LLaMA 4 性能与许可证

LLaMA 4 Behemoth 性能（部分基准，仍在训练中）(CSDN)：

Maverick 性能 (Meta 博客)：在 GPQA Diamond 上以 69.8 分领先 GPT-4o 的 53.6 分。

推理速度 (arXiv Meta 团队)：Llama 4 Maverick 在 8 块 H100 GPU 上以 batch size 1 解码速度约 4ms/token。

许可证：Llama 社区许可证 (arXiv 综述)：

• 对每月活跃用户 < 7 亿的企业免费
• 衍生模型命名要求（如"Llama"前缀需保留或按规定修改）
• “不是真正的开源” (Open Source Initiative)：开放权重 ≠ 开源

4.11 LLaMA 4 生态

LLaMA 4 拥有最广的生态 (CSDN)：

• 云厂商：AWS、Azure、Google Cloud、阿里云、腾讯云、百度智能云
• AI IDE：Cursor、Windsurf、Claude Code、Trae
• Agent 框架：LangChain、LangGraph、AutoGPT、MetaGPT
• 推理框架：vLLM、SGLang、TensorRT-LLM、ONNX Runtime
• 硬件：NVIDIA、AMD、Intel、华为昇腾、Apple Silicon

第 5 章 三大模型架构横向对比

5.1 注意力机制对比

CSA+HCA vs DSA vs iRoPE：

• CSA+HCA 是最激进的"先压缩再稀疏"组合，压缩比最高（V4 KV cache 仅基线 2%）
• DSA 是更保守的"动态选择"，但 GLM 用 IndexShare 工程优化弥补
• iRoPE 不做序列压缩，而是通过交错无位置层解决 RoPE 长上下文外推问题

5.2 位置编码对比

5.3 激活函数与归一化

SwiGLU 的优势：在 LLaMA 2 论文中被证明比 GeLU 更优。SwiGLU(x) = Swish(xW) ⊗ xV，其中 Swish(x) = x·σ(x)。三个权重矩阵比标准 FFN 的两个权重矩阵多一个 gating 参数 (CSDN)。

RMSNorm vs LayerNorm：

• LayerNorm：减去均值再除以标准差
• RMSNorm：仅除以均方根，省去均值中心化
• 优势：计算更快，训练稳定性等价（LLaMA 2 论文验证）

5.4 MoE 设计对比

关键差异：

• DeepSeek V4 走"细粒度 + 多激活"路线（256+ 专家、激活 6 个），类似 V3 路线
• GLM-5.2 走"大量专家 + 适度激活"路线（256 专家、激活 8 个）
• LLaMA 4 Maverick 走"少量激活"路线（128 专家、激活 1 个），但每个专家规模更大

5.5 训练数据与上下文实现

5.6 优化器与稳定性

LLaMA 4 的"RL 稳定性"问题 (Meta 博客)：

• SFT + DPO 可能过度约束模型，限制 RL 探索
• 解决方案：删 50%+ 简单数据、连续在线 RL

DeepSeek V4 的"MoE 稳定性"问题 (CSDN 深度解析)：

• MoE 路由与 outlier 正反馈
• 解决方案：Anticipatory Routing（仅 spike 时启用）、SwiGLU Clamping

5.7 后训练范式对比

5.8 开源与商业化对比

第 6 章 面试常见考点

本节整理三大模型架构在面试中最高频的考点，并给出技术回答模板。

6.1 MLA 为什么能省 KV cache？（对比 V3）

考点：DeepSeek V2 提出的 MLA 是如何在不损失表达能力的前提下压缩 KV cache 的？

答题框架：

• 标准 MHA：每头独立 KV，KV cache 大小 = num_layers × num_heads × head_dim × seq_len × 2（K 和 V）
• MLA 核心：把 KV 联合压缩到低维潜在空间 $c_t^{KV}$，推理时再上投影回多头 KV
• 关键 trick：对 attention 计算进行数学等价变换，从 KV cache 角度看只需缓存 $c_t^{KV}$（压缩后），但数学上等价于缓存完整 K/V
• V3 仍用 MLA，V4 转向序列维度压缩（CSA/HCA），放弃了 MLA 路线——因为 V4 的优化重点是长上下文，序列压缩比 head 压缩更有效

对比 LLaMA：LLaMA 2/3 用 GQA（Grouped-Query Attention）——多个 query 头共享一组 KV 头，是 MHA 与 MQA 之间的折中。

6.2 MoE 如何避免负载不均？

考点：MoE 训练的核心难题是 expert 负载不均，如何解决？

三种策略：

1. 辅助损失（Auxiliary Loss）：在主 loss 上加一个 load balancing loss，鼓励 token 均匀分配。V2/V3 都用。
2. 无辅助损失负载均衡（DeepSeek V3 提出）：用 bias 项动态调整路由分数，让当前过载 expert 的分数降低
3. DeepSeek V4 改进：
   • 路由目标节点数限制取消（V3 限制每个 device 最多接收的 token 数）
   • 前 3 层 Hash routing：用 token ID 哈希替代学习路由，省掉浅层 router 开销
   • Sqrt(Softplus) 激活函数：替代 Sigmoid 改善梯度流
   • Sequence-wise Balance Loss：防止单个序列内出现极端不均

GLM-5.2 路线：相对低调，未公开太多细节，但保持了"无辅助损失"路线

LLaMA 4 路线：选择"少而精"专家（128 专家激活 1 个），自然避免严重不均

6.3 RoPE 的数学原理

考点：RoPE 如何编码相对位置？为什么能外推？

核心思想：对 query 和 key 应用旋转变换：

$$q_m’ = R(m\theta) q_m, \quad k_n’ = R(n\theta) k_n$$

其中 $R(m\theta)$ 是位置 m 处的旋转矩阵，$\theta$ 是频率向量。

内积性质：
$$q_m’^T k_n’ = q_m^T R((m-n)\theta) k_n$$

只依赖相对位置 (m-n)，这是 RoPE 的核心优势。

外推原理：

• 训练时见过的相对位置范围是有限的
• 但 RoPE 的频率衰减特性让超出训练长度的位置仍能保留"大致正确"的方向
• 实际外推效果有限，所以需要 iRoPE（V4）、Position Interpolation、NTK-aware scaling 等技术

DeepSeek V4 的 Partial RoPE：仅对每头最后 64 维应用 RoPE，其他维度无位置信息，降低 RoPE 计算成本。

6.4 GQA vs MHA vs MQA 权衡

考点：为什么 LLaMA 2 选 GQA 而不是 MQA？

LLaMA 2 选择 GQA-8（8 组 KV 头）的理由 (Meta 博客)：

• 推理速度显著提升（KV cache 降为 1/8）
• 质量接近 MHA
• 比 MQA 训练更稳定

LLaMA 4 Maverick 用 MQA 变种（128 routed + 1 shared，激活 1 routed），走得更激进。

6.5 RMSNorm vs LayerNorm

考点：为什么现代 LLM 几乎都用 RMSNorm？

LayerNorm：
$$y = \frac{x - \mu}{\sigma} \cdot \gamma + \beta$$

• 减去均值 $\mu$，除以标准差 $\sigma$
• 2 个可学参数 $\gamma, \beta$

RMSNorm：
$$y = \frac{x}{\text{RMS}(x)} \cdot \gamma$$

• 仅除以均方根，省去均值中心化
• 1 个可学参数 $\gamma$

LLaMA 2 论文验证：RMSNorm 在训练稳定性和最终质量上与 LayerNorm 等价，但计算更快。LLaMA 1 → LLaMA 2 → LLaMA 3 → LLaMA 4 一直用 RMSNorm。

DeepSeek V4 的特殊用法：QK 也用 RMSNorm（Query/KV entries），让 attention logits 天然不会爆炸，取代了 QK-Clip (今日头条)。

6.6 SwiGLU 比 GeLU 强在哪？

考点：为什么 LLaMA 2 之后都用 SwiGLU？

标准 FFN（GeLU）：
$$FFN(x) = W_2 \cdot \text{GeLU}(W_1 x)$$

SwiGLU FFN：
$$FFN(x) = W_2 \cdot (\text{Swish}(W_1 x) \otimes W_3 x)$$
其中 $\text{Swish}(x) = x \cdot \sigma(x)$

优势：

• 多了 1 个 gating 矩阵 $W_3$（增加少量参数）
• 门控机制让模型可以"选择性激活"某些维度
• LLaMA 2 论文验证：相同训练 cost 下 SwiGLU 比 GeLU loss 更低

DeepSeek V4 的 SwiGLU Clamping (莫尔索)：把 SwiGLU 的 linear 分量 clip 到 [-10, 10]、gate 分量上限 10，是 FP4/FP8 低精度训练的必要稳定性补丁。

6.7 为什么 LLM 都用 Pre-Norm？

考点：Pre-Norm vs Post-Norm 哪个更好？

Post-Norm（原始 Transformer）：
$$x_{l+1} = \text{LayerNorm}(x_l + F(x_l))$$

Pre-Norm（现代 LLM 标配）：
$$x_{l+1} = x_l + F(\text{LayerNorm}(x_l))$$

Pre-Norm 优势：

1. 训练更稳定：残差路径是"裸"的，梯度可以无阻碍地通过
2. 深层网络必备：GPT-3、LLaMA、GLM、DeepSeek 全用 Pre-Norm
3. 无需 Learning Rate Warm-up 的精细调节

Post-Norm 优势：理论上有更好的"层间信号混合"，但深层训练不稳

例外：DeepSeek V4 的 mHC 实际上改造了 Pre-Norm 残差流——但仍保留了"主干残差 + 调制"的精神 (CSDN 深度解析)。

6.8 三大模型长上下文的工程化路径

考点：1M+ 上下文的本质难题是什么？三大模型各自怎么解？

本质难题：

• 标准 attention $O(n^2)$ 复杂度
• KV cache 线性增长
• 训练和推理都需要重新设计

三大模型解法：

学习者面试要点：

• 没有"标准答案"，三条路线各有取舍
• CSA+HCA 压缩比最高但工程最复杂
• DSA 是"轻量稀疏"路径，IndexShare 弥补效率
• iRoPE 是"非压缩"路径，依赖位置编码的巧妙设计

6.9 训练稳定性的工程体系

考点：万亿参数 MoE 训练最难的工程难题是什么？

核心难题：Loss spike 反复出现，rollback 也救不回来 (莫尔索)。

根因：MoE 路由与 expert outlier 形成正反馈：

某些 expert 产生异常激活 → router 把更多 token 送进这些 expert → 异常放大 → spike

DeepSeek V4 的 5 重防护：

1. mHC（架构层）：约束残差传播
2. Anticipatory Routing（调度层）：用历史参数算路由
3. SwiGLU Clamping（数值层）：clip 极端激活
4. QK-Norm + Attention RMSNorm（attention 层）：防 logit 爆炸
5. Muon 优化器（优化层）：matrix-wise 正交化更新

Kimi K2 的对比方案：QK-Clip + MuonClip，从优化器侧抑制 logit 爆炸。

GLM-5.2 路线：异步 RL 基础设施，关注 Agent 长程训练稳定性而非 MoE 本身稳定性。

LLaMA 4 路线：共蒸馏（让 teacher 帮助稳定 student），连续在线 RL（动态数据筛选）。

6.10 V4 三大创新如何协同？

考点：CSA+HCA、mHC、Muon 三者如何相互配合？

这是 DeepSeek V4 的设计哲学——每一层解决不同问题 (莫尔索)：

┌─────────────────────────────────────────────────┐
│ 架构层 (mHC): 控制残差信号传播                  │
│  ↓ 稳定了从底向上、从顶向下的信号流              │
│ 注意力层 (CSA + HCA + SWA + Sink): 1M 上下文    │
│  ↓ 提供了高效长上下文，建模能力依赖 mHC 稳定    │
│ MoE (DeepSeekMoE + Hash routing): 万亿稀疏激活  │
│  ↓ MoE 路由的稳定性被 mHC + Anticipatory 保护   │
│ 优化器 (Muon): matrix-wise 正交化               │
│  ↓ 收敛快 + 稳定，配合 mHC、SwiGLU Clamping     │
└─────────────────────────────────────────────────┘

任意一环缺失都会导致训练崩溃：

• 没有 mHC → 深层堆叠信号放大
• 没有 Anticipatory Routing → 路由 spike
• 没有 SwiGLU Clamping → FP4/FP8 下激活溢出
• 没有 Muon → 优化器在大规模 ZeRO 下的兼容问题

第 7 章 总结与展望

7.1 核心结论

DeepSeek V4、GLM-5.2、LLaMA 4 共同代表了 2026 年开源大模型架构演进的三大方向：

1. DeepSeek V4 走"架构深度创新"路线，用 CSA+HCA、mHC、Muon 三件套把"1M 上下文"做成"日用品"，同时保持开源 MIT 协议和极致低价 (DeepSeek 论文) (凤凰网)
2. GLM-5.2 走"中文 + 国产化 + 长程 Agent"路线，IndexShare + 异步 RL + 8 家国产算力 Day 0 适配，是政企市场的首选 (GLM-5 论文) (鲲鹏社区)
3. LLaMA 4 走"生态 + 多模态"路线，首个原生多模态 MoE LLaMA，但 2026 年 Meta 转向闭源 Muse Spark，开源 LLaMA 路线图未明 (Meta 博客) (fazm.ai)

7.2 学习者建议

对准备大厂 AI 大模型岗位面试的 Python 技术栈学习者：

1. 必读论文：

   • DeepSeek-V4 论文 (arxiv)
   • GLM-5 论文 (arxiv)
   • LLaMA 4 论文 (PDF)
   • 综述论文 (arXiv 2510.12178)

2. 必会代码：

   • vLLM / SGLang 启动 GLM-5.2、LLaMA 4
   • HuggingFace Transformers 加载 DeepSeek V4
   • 至少跑通一次 MoE 模型的推理和量化

3. 必掌握概念：

   • MoE 路由机制（top-k routing、aux loss、shared expert）
   • GQA / MQA / MLA 的 KV cache 压缩对比
   • RoPE 数学原理与外推
   • RMSNorm / SwiGLU 的工程优势
   • Pre-Norm vs Post-Norm

4. 加分项：

   • 理解 mHC 背后的"双随机矩阵"几何意义
   • 理解 CSA 的"先压缩再稀疏"哲学
   • 能解释 IndexShare 的 4 层共享为何能省 2.9 倍 FLOPs
   • 知道 LLaMA 4 的"共蒸馏"与传统蒸馏的区别

7.3 真实性声明与免责

本文所有架构细节、参数、benchmark 数据均基于以下来源：

• DeepSeek V4 官方技术报告（Hugging Face + arXiv 2606.19348）
• GLM-5 官方论文（arXiv 2602.15763）
• LLaMA 4 Meta 官方博客 + 论文（The Llama 4 Herd PDF）
• 多源权威媒体（量子位、36氪、凤凰网、IEEE Spectrum 等）的二次分析

未经验证或来源不可靠的内容已省略，包括：

• 任何关于 LLaMA 5 的未发布细节
• 任何关于 DeepSeek V5 的传闻
• 任何"未来 6 个月"路线图预测

版本更新说明：本文基于截至 2026 年 7 月 3 日的全网公开信息。如果此后有新版本发布（如 DeepSeek V4 正式版 7 月中旬、GLM-5.3、LLaMA 5 等），请以最新官方信息为准。

附录 A 关键链接汇总

官方资源

• DeepSeek V4 技术报告：https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro/blob/main/DeepSeek_V4.pdf
• DeepSeek V4 论文 arXiv：https://arxiv.org/pdf/2606.19348
• GLM-5 论文 arXiv：https://arxiv.org/html/2602.15763v1
• GLM-5.2 Hugging Face：https://huggingface.co/zai-org/GLM-5.2
• GLM-5 GitHub：https://github.com/zai-org/GLM-5
• LLaMA 4 论文 PDF：https://sekunde.github.io/data/llama4.pdf
• LLaMA 4 Scout Hugging Face：https://huggingface.co/meta-llama/llama-4-scout-17b-16e

二次解读（权威媒体）

• DeepSeek V4 量子位深度报道：https://www.163.com/dy/article/KRBULUJ60511DSSR.html
• DeepSeek V4 电子工程专辑：https://www.eet-china.com/mp/a490841.html
• DeepSeek V4 FP4 量化分析：https://www.eet-china.com/mp/a494319.html
• GLM-5.2 36氪技术解析：http://m.toutiao.com/group/7610226639217115675/
• LLaMA 4 掘金官方博客转载：https://juejin.cn/post/7489405244037840930
• LLaMA 4 2026 状态分析：https://fazm.ai/t/llama-4-release-date-2026

综述论文

• LLaMA 演进综述 arXiv：https://arxiv.org/pdf/2510.12178v1
• MoE 综述：https://arxiv.org/html/2503.07137v1

致读者：本文力求真实、可追溯、避免误导学习者。所有事实性声明都附带可访问的来源链接。如发现任何错误或不准确之处，欢迎指正。