跳到正文
论文与研究

Raschka 解读 GPT-6 Astra 与循环 Transformer 的推理争议

GPT-6 Astra, Looped Transformers, and Hidden Reasoning

Sebastian Raschka 结合 GPT-6 Astra 的基准表现,梳理循环 Transformer 的复用机制,并回应其隐藏思维链的传闻。他指出 Astra 在 ARC-AGI-3 达 99.9%,但 Artificial Analysis 综合指数上并未大幅领先;The Information 所称的循环深度尚无官方确认,OpenAI 首席科学家称前沿模型计算图深度在 GPT-4 的两倍以内。他认为更短的推理轨迹更可能来自模型能力提升,而非循环架构刻意遮蔽。

要点

  1. 作者称GPT-6 Astra在ARC-AGI-3达99.9%,GPT-5.6 Sol为7.8%
  2. Nanbeige4.2-3B将22个Transformer块复用两遍,等效44次块应用
  3. SMELT论文估计同等验证损失下可省6.8-18%训练算力
对你有什么影响

文中把循环 Transformer 的算力与 KV cache 代价讲清楚,并给出 SMELT 等论文的量化对比,便于判断架构传闻的可信度。

AAhead of AI阅读原文

相关阅读

论文与研究·Microsoft Research
微软研究披露Lazarus后门技术,可重编程休眠神经元控制AI智能体
论文与研究·Google DeepMind Blog
DeepMind 用 AlphaProof Code 形式化验证 Signal 协议代码
论文与研究·NVIDIA Blog
NVIDIA 在 CoRL 发布开源世界动作模型 GR00T 2 与 Isaac Lab 3.0