原标题:《I built a programming language that LLMs can't use》 评分: 236 | 作者: dom96 💭 把禁词当语法,就能证明机器不会编程? 🎯 讨论背景 KillSwitch(一个开源的实验性编程语言)试图让人类相对容易、而 LLM(大型语言模型)及 coding agent(能调用工具完成编程任务的代理)更难读写代码;其设计包含 anagram 标识符、文档中的故意谎言、字符规则与会触发内容过滤的短语。配套基准在 VM(虚拟机环境)中向 agent 提供语言规范和解释器 binary,禁止联网但允许运行工具,顶级模型在任务集上仅取得约六成正确率。项目还提供 Rust interpreter(用 Rust 编写的语言执行器)和测试样例,因此评论者认为模型可通过 transpiler 或 reverse engineering(逆向工程)逐步绕过障碍。争论的核心不是传统意义上的代码保密,而是这种人为构造的失败案例能否公平衡量模型理解能力,以及它是否比人类更受伤害。 📌 讨论焦点 基准缺少人类基线,易用性存疑 不少人认为,若没有