Raschka 解读 GPT-6 Astra 与循环 Transformer 的推理争议
GPT-6 Astra, Looped Transformers, and Hidden Reasoning
Sebastian Raschka 结合 GPT-6 Astra 的基准表现,梳理循环 Transformer 的复用机制,并回应其隐藏思维链的传闻。他指出 Astra 在 ARC-AGI-3 达 99.9%,但 Artificial Analysis 综合指数上并未大幅领先;The Information 所称的循环深度尚无官方确认,OpenAI 首席科学家称前沿模型计算图深度在 GPT-4 的两倍以内。他认为更短的推理轨迹更可能来自模型能力提升,而非循环架构刻意遮蔽。
要点
- 作者称GPT-6 Astra在ARC-AGI-3达99.9%,GPT-5.6 Sol为7.8%
- Nanbeige4.2-3B将22个Transformer块复用两遍,等效44次块应用
- SMELT论文估计同等验证损失下可省6.8-18%训练算力
对你有什么影响
AAhead of AI阅读原文文中把循环 Transformer 的算力与 KV cache 代价讲清楚,并给出 SMELT 等论文的量化对比,便于判断架构传闻的可信度。