OpenAI Astra 与循环式 Transformer

针对 OpenAI Astra 被称作“循环深度/循环式 Transformer”的说法做解释，并举例此前介绍过的 Nanbeige4.2-3B：它把同一套 22 层 Transformer 堆栈复用两次，相当于扩展到 44 层但不复制权重，存储需求不变而计算量近乎翻倍。文中还提到 Mixture-of-Recursions 论文，并引用 Nanbeige 4.2 技术报告称两遍复用取得较好权衡。