OpenAI 工程师 Clive Chan 挑战 V4 硬件建议,称其相较 V3 存在错误与模糊之处
2026-04-24 16:20:13
币小二 快讯,4 月 24 日——OpenAI 工程师 Clive Chan 就 V4 技术报告中的硬件建议章节提出了详细异议,称其“出人意料地平庸且容易出错”,与备受赞誉的 V3 版本相比尤为如此。V3 的硬件指导,其中包括问答(Q&A)环节,这些环节成为 ISCA 学术会议上最受欢迎的讨论话题,并提供了与业界互连标准相匹配的具体建议。相比之下,V4 则要模糊得多。
Chan 系统性地质疑了三项关键建议。关于功耗,报告指出,软件优化允许芯片在同一时间以满负荷运行计算、存储与通信,并建议芯片制造商预留更多的功率余量。Chan 认为这适得其反:芯片的总功耗受物理工艺限制所约束,因此预留更大的功耗裕量只会降低工作频率,最终减少计算性能。关于 GPU 到 GPU 的数据传输,报告主张采用拉取(pull)模型——由 GPU 主动获取数据——而非推送(push)模型,并称在推送操作中存在较高的通知开销。Chan 则对此提出异议,认为拉取实际上更慢,并且更优的是提升网络适配器能力。然而,这两者可能在讨论问题的不同层面:报告谈的是通知机制的开销,而 Chan 指的是传输延迟本身。
关于激活函数,报告建议用更简单的函数来替换 SwiGLU,以降低计算负担。Chan 认为这没有任何价值,并指出 Sonic MoE 已经通过使用 SwiGLU 展示了最佳性能。Chan 怀疑 DeepSeek 可能“故意削弱了这一部分。”
声明:文章不代表币小二观点及立场,不构成本平台任何投资建议。投资决策需建立在独立思考之上,本文内容仅供参考,风险自担!