Sebastian Raschka 长文拆解 GPT-6 Astra：循环 Transformer 并非隐藏思维链的元凶

OpenAI 新旗舰模型 GPT-6 Astra 发布前后，一场围绕其底层架构的争议迅速升温。据 The Information 在模型上线前约两天援引内部消息报道，Astra 采用了一种名为循环深度（recurrent depth）、也称循环 Transformer（looped transformer）的设计，而这种设计「会让模型的部分乃至全部推理过程变得不可见」。消息一出，「循环深度」迅速成为 AI 安全讨论的焦点词。

面对外界质疑，OpenAI 首席科学家 Jakub Pachocki 出面澄清，表示他希望避免「一场由混乱的报道引发的、奔向不可监控性的竞赛」，并强调包括 Astra 在内的当前前沿模型，其计算图深度与 GPT-4 的差距仍在两倍以内。

在大量语焉不详的转述中，技术博主、《Build a Large Language Model (From Scratch)》作者 Sebastian Raschka 发表长文，系统梳理了循环 Transformer 的技术脉络，并对「该架构导致思维链被隐藏」的说法给出了否定回答。

Raschka 首先分享了他使用 Astra 的观察。他认为这是自己用过的最好的模型，几乎在写作、数学、编程等所有类别上都超越了前代 GPT-5.6，但在 3D 渲染和动画任务上的领先「不成比例」。基准测试也印证了这一点：Astra 在 ARC-AGI-3 上拿到 99.9%，而 GPT-5.6 Sol 仅为 7.8%。不过他也指出，在混合多项智能体编程任务的 Artificial Analysis Coding Agent Index v1.4 上，Astra 虽处前沿，但并未大幅甩开对手；更综合的 Intelligence Index 也呈现类似格局。他提醒，由于模型训练通常围绕某一主力框架展开，某些智能体评测可能低估了 Astra 在自家框架下的实际表现。

另一个亮点是计算机操作能力。Raschka 演示了让 Astra 通过鼠标在浏览器版 MS Paint 中重画照片，认为这体现了模型操作本地软件的能力。这与近期报道相吻合：OpenAI 采购了数万台 Mac Mini 和 Mac Studio 用于强化学习——这些 Mac 并非用于训练模型本身，而是提供 macOS 环境，让模型通过截图、预测鼠标键盘动作、执行、再获取新截图的循环来学习操作软件，成功或失败信号则作为训练反馈。他同时提到，英伟达 CEO 称 GPT-6 Astra 是在约 10 万块 Grace Blackwell GPU 上训练的。

回到核心争议，Raschka 从 2018 年的 Universal Transformer 讲起，一路梳理到开放权重模型 Nanbeige4.2-3B、字节跳动的 Ouro 和谷歌的 Mixture-of-Recursions。他解释，循环 Transformer 的核心思路是让中间表示多次通过同一批 Transformer 块，而非只过一次，且在这些遍历过程中权重保持不变。以 Nanbeige4.2-3B 为例，同一组 22 个 Transformer 块被应用两次，展开后相当于 44 次块应用，但第二轮复用的是第一轮的权重。

对于最受关注的问题，Raschka 给出否定回答。在他看来，循环 Transformer 并不是思维链变短、变得难以监控的原因。更合理的解释是：能力更强的模型犯错更少、回溯更少，因此不需要那么长的草稿纸。他以 GPT-5.6 家族为例——Luna 比 Sol 多用 80% 的 token 才达到相近性能，但没有人因此说 Sol 的可解释性更差。他承认 Astra 系统卡确实提到推理轨迹的可监控性出现退步，但没有证据表明可以把这笔账记在循环架构头上。

Raschka 还提醒，新一代 LLM 在理解提示词、解决问题上已更高效，过度的手把手指导反而可能束缚模型，部分旧指令文件或许已不再是最优解。文章最后介绍了几项新研究。整体来看，这篇长文为围绕 Astra 架构与 AI 安全的争论提供了一个技术层面的冷静视角。