原标题:《Inception "Mercury 3", 1000 tok/s diffusion LLM》 评分: 167 | 作者: cmrdporcupine 💭 千 tok/s 很快,用户为何还在等首个 token? 🎯 讨论背景 Mercury 3 是 Inception Labs(开发 diffusion LLM 的模型公司)推出的闭源生产模型,宣称以 diffusion 并行去噪生成,在 NVIDIA Blackwell GPU 上达到约千 tokens/s,并支持 1M token context。它瞄准 browser agent、实时搜索、辅导和客服等低延迟场景,并以 OpenAI-compatible API、OpenRouter(多模型 API 聚合平台)和部分推理平台提供服务。讨论的技术前提是,传统 autoregressive 模型能借助大规模 batching 获得良好单位成本,而 diffusion LLM 的速度优势主要出现在低并发请求,规模化服务时未必同样划算。Google 此前展示过 Gemini Diffusion 和 Diffusion Ge