原标题:《Non-Determinism Doesn't Matter》 评分: 23 | 作者: sklarsa 💭 每次都要人工验收的编译器,谁敢拿来发布? 🎯 讨论背景 争论源于把 LLM(large language model,一类按 token 概率分布生成文本和代码的模型)比作“从自然语言编译到代码的 compiler(编译器)”。传统 compiler 通常将版本控制中的 source code 转成可复现的构建产物,使同一输入的二进制可审计和发布;LLM 输出则可能受 prompt、采样参数、服务端实现和硬件并行细节共同影响。文章主张非确定性本身不应否定 LLM 开发,评论则将焦点移向错误是否可预测、代码能否审查,以及谁承担最终验收。讨论还延伸到大规模训练和 RL(reinforcement learning,强化学习):固定数值计算顺序有助于复现和稳定,却会牺牲吞吐量。 📌 讨论焦点 LLM 的随机性主要由采样与部署决定 多位评论指出,LLM 在每一步给出的是 next token 概率分布,是否每次得到相同结果主要取决于 sampler,而非模型天然无法复现