原标题:《The Emperor Pelican Has No Clothes》 评分: 136 | 作者: pcwelder 💭 万亿参数的想象力,怎么只会右骑围巾鹈鹕? 🎯 讨论背景 讨论围绕所谓 Pelican Bench 展开:它要求不同 LLM 生成“一只骑自行车的鹈鹕”的 SVG(Scalable Vector Graphics,一种可缩放矢量图格式),并观察各模型是否会产生相似构图。批评者发现多个结果反复出现右行侧视、太阳、道路、绿地和围巾,因而将其连接到生成模型的 mode collapse(模式坍缩)及 RLHF(基于人类反馈的强化学习)后训练。争论的核心不是模型能否在追加指令后画出怪异场景,而是短而欠定义的需求是否应默认收敛到“最典型答案”,以及这种收敛会否限制创作、产品设计和自主 agent。该测试也因 SVG 格式本身的图标化倾向、训练数据中的视觉惯例,以及可能被模型训练数据污染而受到质疑。 📌 讨论焦点 同一提示词下的输出过度趋同 支持者认为问题不只是结果“普通”,而是不同模型会反复补全出相同的次要细节:鹈鹕从左向右骑行、晴天和云朵、绿色草地、围巾、道路