🧒 初中生也能看懂的版本
① 研究背景（为什么要做？）
一个会做题的大模型，有时不用重新训练，只要把做题过程看在眼里，就能学会一项新任务。这种“不改参数、只看上下文”的学习方式，在强化学习里叫上下文强化学习：模型把过去的状态、动作、奖励、下一状态一条条记在提示里，然后靠这些记录自己算出价值。问题是，过去的理论构造几乎都把整条交互轨迹原封不动地塞进上下文，记录越多，上下文越长，显存和注意力开销就跟着一起涨。论文举的例子很直接：记录条数乘以每条的特征维度，任务相关的记忆量就随两者相乘增长。长任务、高维任务下，这很快就撑不住了。于是作者追问一个更根本的问题：这些记录里到底有多少是“必须留”的？如果只留一小部分，能不能照样把价值迭代一步步算对？他们选择固定策略下的时序差分评估作为切口，因为这里的迭代有干净的闭式解，可以把“记多少”变成一个能严格证明的数学问题。
② 研究问题（要回答什么？）
这篇论文想弄清楚，做一次价值估计到底需要记住多少东西。它把问题拆成两个具体的追问。第一，要让模型把前若干步时序差分的计算结果一步不差地复现出来，上下文至少需要多少维度，对应的内存又至少要多少？第二，如果上下文比这个门槛还小，那么无论怎么压缩，最好的近似能好到什么程度，误差会以多快的速度缩小？作者强调，他们要求的是每一步都对上，而不只是最后收敛的那个值对上，因为目标是复现算法本身，而不是复现它的终点。这个区别很关键：只盯终点，很多不同的更新规则会给出同一个答案，从而掩盖掉真正的信息需求。围绕这两个问题，论文分别给出了下界、构造和匹配的上界。
③ 研究方法（怎么做的？）
作者把强化学习里的价值估计拆成一步一步的加法，再用线性代数里的克里洛夫维数来量它需要多少方向。形象地说，每迭代一次，就是在奖励向量上乘一次转移矩阵，得到一个新方向；这些方向里真正独立的到底有几个，就决定了上下文至少要留几列。整个压缩分两级完成，而且都在注意力网络的前向传播里做，不是预处理。第一级把成堆的原始转移压成每个状态一条统计量，第二级再用类似阿诺尔迪迭代的办法，从这些状态里挑出真正独立的方向，只留下关键的几个。执行阶段用一个固定参数的线性注意力层反复作用在这份压缩后的上下文上，就能把任意状态、任意深度的价值读出来。作者还分析了上下文不够大时的情形：把预算分成两部分，前面几步精确保留，后面按折扣权重均匀取样，两次取样之间保持上一次的值。最后他们用梯度下降验证这套执行器能不能从预训练里被学出来。
④ 结果（发现了什么？）
结果很干净，只要上下文维度达到一个由数据决定的门槛，就能完全复现每一步的价值。这个门槛就是克里洛夫维数，实验里十二块循环任务的维数是十二，维度给到十二时误差是十的负十六次方量级，给到十一时误差还有零点八六，说明这道门槛是硬的，不是慢慢变好。上下文小于门槛时，最优误差按折扣因子的幂次下降，还带一个与维度和折扣有关的修正项；作者构造的取样保持法正好达到这个速率，而传统的克里洛夫截断在折扣接近一时几乎不降，最差能差三十七倍。内存上，在稠密核任务里，达到百分之一精度所需的上下文只占稀疏统计量的约百分之十一，也就是省了百分之八十八点七。在带瓦片特征的山地车任务里，三十二维上下文就够用，比最小二乘统计量小六到七倍，而且不随记录数增长。他们还发现，用标准注意力自己学出来的压缩器反而学不到这种结构，误差卡在零点六左右，不随维度下降。
⑤ 讨论（这些发现说明什么？）
这说明上下文的长短不只是一个工程参数，它被任务本身的结构卡住了下限。作者的解释是：价值的每一步增量都落在同一个低维子空间里，这个子空间的维数由采样得到的转移矩阵和奖励向量共同决定，跟记录有多少条没有关系。所以真正该问的不是能不能压缩，而是这个任务天生需要几个方向。另一个有意思的发现是关于预训练的：如果只用最终收敛值去监督，模型可以学到任意步长的时序差分，终点都一样，更新规则却不同，因此无法唯一确定；只有监督整条轨迹，才能把步长也钉死。作者还老老实实承认，标准注意力自己做瓶颈压缩时并没有发现这套结构，误差不随维度下降，这说明可压缩不等于能被学出来。这一点对理解大模型为什么能省上下文很重要：理论上界是一回事，训练动力学能不能走到那里是另一回事。
⑥ 结论（最终结论 + 启示）
作者给上下文压缩画出了一条可以证明的边界线。在固定策略的价值评估里，精确复现所需的上下文维度恰好等于采样转移的克里洛夫维数，内存的最优量级也随之确定；低于这条线时，误差有一个绕不过去的下限，而一个简单的取样保持方案就能贴着这个下限走。对做长上下文模型的人来说，这提供了一把尺子：不是上下文越短越好，而是要先知道这个任务的信息下限在哪里。作者也把边界说得很清楚，结论目前只覆盖固定策略下的价值评估，执行器是显式构造并单独预训练的，编码器联合训练、策略控制以及真实大模型上的表现都还是开放问题。换句话说，这是一块扎实的理论地基，但离直接指导实际系统还有距离。
🎓 专业 IRMaD 结构解读
I. Introduction（引言）
上下文强化学习（ICRL）的理论主线，是把 Transformer 的前向传播解释为在上下文中执行某个 RL 算法。监督预训练一线证明了 Transformer 可以实现经典在线决策算法（Lin et al., 2024）、SARSA 与 actor–critic（Liang and Lai, 2026）以及非平稳 RL 策略（Chen et al., 2025）；强化预训练一线则证明线性注意力与 softmax 注意力都能在上下文中执行 TD 更新（Wang et al., 2025a, 2025b; Xie et al., 2026a, 2026b）。这些工作回答的是“能不能执行”，却普遍把整条交互轨迹保留在提示里：N 条转移、每条 d 维特征，任务相关记忆为 Θ(dN)；表格设定下已知动力学的构造也要 Θ(n²)。也就是说，既有结果只证明了保留全史是充分的，没有回答它是否必要。本文把固定策略的 TD 评估当作标准切口，提出两个问题：精确复现前 L 步迭代所需的最小上下文维度与内存是多少；维度低于该门槛时，最优近似误差如何随维度与折扣因子变化。贡献有三：给出上下文复杂度的精确刻画与匹配的极小极大误差律；区分上下文维度、峰值内存与保留内存，给出 Θ(nk_L) 的保留内存定律；证明共享执行器可在任务多样性假设下由辅助目标全局收敛地学到。需要说明的是，本文不是新的大模型：没有参数规模与自然语料训练，架构家族是固定参数的线性注意力（编码器 token 宽 13n+11，执行器为单层循环），评测是合成与采样 TD 任务上的复现误差和内存，而不是 LLM benchmark。
I. Theoretical Framework & Hypotheses（理论框架与假设）
| 编号 | 结果 | 核心陈述 | 条件与范围 |
|---|---|---|---|
| Thm 4.3 | 上下文与内存复杂度 | 精确复现前 L 步 TD 的最小上下文维度等于 Krylov 维数 k_L=dim K_L(γP̂,r̂)；构造保留 (2n+1)(k_L+1) 个寄存器，最优保留内存 Θ(nk_L)（连续精确编码器下界 nk+k，构造在 2 倍以内） | 全覆盖采样、共享线性解码器 D；下界对任意非线性解码器仍成立，但为类级（dense 开集）结论 |
| Thm 4.4 | 线性特征 TD | 未归一化批量 TD 下，最小维度为 k_L^φ=dim K_L(M,s_0)，M=I_d−αA_N，s_0=αb_N；保留内存 Θ(dk_L^φ)，下界 dk | 公开步长 α、折扣 γ；Stage 1 不需要 recip_0 |
| Thm 4.5 | 有限上下文极小极大 | (1/64)Ψ_m ≤ E_m ≤ e²Ψ_m，Ψ_m=γ^m max{1,1/(m(1−γ))}；取样保持达到上界，故 E_m=Θ(Ψ_m) | m < 1/(1−γ) 时误差至少 Ψ_m/64，只按 1/m 下降；Krylov 截断有 min{m,1/(1−γ)}/e² 的乘性差距 |
| Prop 4.6 | 局部可辨识 | 轨迹监督的 Jacobian 在 (−I_n,I_n) 处单射，目标是严格局部极小；终点监督的 Jacobian 有零方向 (−I_n,I_n) | L≥2 且 E[r̂r̂^T]≻0、E[(r̂r̂^T)⊗(Â^TÂ)]≻0 |
| Assumption 4.7 | 任务丰富性 | κI ⪯ E_τ[Â_τ^TÂ_τ] ⪯ β′I，保证预训练任务覆盖所有算子方向 | 全局收敛所需的分布假设 |
| Thm 4.8 | 执行器可学习 | 校准目标 J 全局强凸且光滑，唯一极小 (−I_n,I_n)；步长 η≤1/λ_+ 时 ‖C_t−C*‖²+‖W_t−W*‖² ≤ (1−ηλ_−)^{2t}(初始误差) | 只识别执行器；编码器联合训练未证明 |
M. Materials & Methods（材料与方法）
- 问题设定与闭式解。固定策略 π 诱导 MRP，轨迹 D_N 满足全覆盖（每个状态至少访问一次，但不要求每条转移都出现）。经验转移
P̂_ij=N_ij/N_i、奖励 r̂_i、访问归一化 TD(0) 展开得v̂_ℓ=Σ_{j<ℓ}(γP̂)^j r̂，故复现前 L 步等价于保留方向r̂, Âr̂, …, Â^{L−1}r̂，其中Â=γP̂。 - 上下文表示（Def 4.1）。m 维上下文 {Z_ℓ} 指存在共享线性解码器
D∈R^{n×m}与固定读出 ρ，使s_ℓ=Z_ℓ^Tρ、ṽ_ℓ=DΣ_{j<ℓ}s_j；精确指对所有 ℓ≤L 有 ṽ_ℓ=v̂_ℓ。查询 token 不计入 m 个活跃源。 - 编码器头。残差线性注意力
U⁺=U+PU[R⊙(U^TQU)]，P=σE_o^TE_v、Q=E_k^TE_q、σ=±1；token 块布局总宽 13n+11，选择器元素为 0 或 ±1，路由掩码 R 只依赖公开量与阶段，不看任务数值。 - Stage 1（N→n）。三个头把原始记录累加成 N_{i,:}、
Σ_{t:S_t=i}R_{t+1}、N_i，再用recip_0与输入 γ 形成 P̂_i,:、r̂_i、Â_i,:；原始 token 释放，n 个状态 token 携带 (Â,r̂)。 - Stage 2（n→k_L）。h=min{n,L} 轮原始–对偶 Arnoldi：
d_j=b_j^Tb_j、ω_j=recip_0(d_j)b_j、b_{j+1}=Âb_j−Σ_{i≤j}b_i ω_i^TÂb_j；非零 b_j 正交且张成 K_L，门控 η_j 恰在非零项为 1，token 释放后剩 k_L 个。随后编译H=Ω^TÂB、g=Ω^Tr̂、Y=B+Ω(H−I_{k_L})^T、Z_0=[B;Y;g^T]∈R^{(2n+1)×k_L}。 - 执行器。单层循环线性注意力：
Z̄_{ℓ+1}=Z̄_ℓ+P_TD Z̄_ℓ M_{k_L}(Z̄_ℓ^T Q_TD Z̄_ℓ)，P_TD=diag(0_{2n},1)，Q_TD=[−I_n,I_n,0;0,0,0;0,0,0]。于是s_{ℓ+1}=Hs_ℓ、c_{ℓ+1}=c_ℓ−e_q^TBs_ℓ，输出−c_ℓ(q)=e_q^TBΣ_{j<ℓ}H^jg=v̂_ℓ(q)。同一上下文可由一层双头 softmax 注意力精确实现（附录 B），单深度查询需 Θ(log L) 层（附录 E）。 - 有限上下文（§4.2）。取 J=⌊1/(1−γ)⌋，把 m 拆成 k+j：γ<1/2 时 (k,j)=(m,0)；γ≥1/2 且 m≤J 时 (0,m)；否则 (m−J,J)。前 k 步精确保留，其余深度按
i_s=min{i≥0:1−γ^i≥s/(j+1)}选取；五个头记录增量x_u=v̂_{τ_u}−v̂_{τ_{u−1}}，深度计数器门控s_{ℓ,u}=1{ℓ+1=τ_u}，两次采样之间保持旧值，得到ṽ_ℓ(q)=v̂_{σ(ℓ)}(q)。 - 内存定义与下界（Def 4.2；Thm C.1）。保留内存 M_ret 为编码后必须驻留的不同标量位置数，峰值 M_peak 再计入编码与执行工作区（别名只算一次、共享参数不计）。对在 (Â,r̂) 上连续且对所有状态–深度查询精确的编码器，存在开集迫使至少保留 nk+k 个实寄存器，即使解码器任意非线性；离线编码误差 ε 的最优比特数为
Θ_γ(n min{n,L,log(1/ε)} log(1/ε))。 - 可学习性（§4.3）。固定 P=P_TD，参数化
Q_eff(C,W)=[C,W^T,0;0,0,0;0,0,0]，F_τ(C,W)=I+C^T+Â_τW，目标 (C*,W*)=(−I_n,I_n)。校准目标J(C,W)=½E_{τ,u}[‖−C^Tu−u‖²+‖F_τ(C,W)u−Â_τu‖²]，u 满足 E[uu^T]=I_n；用全批梯度下降求解。 - 实验配置与规模。参数恢复：2400 个原始批量任务（n=24，L=30，五组配对初始化）。权衡曲线：每面板 100 个任务（n=24，γ=0.9，L=30，N=960），另有 γ=0.99 的最坏情形环。内存核算：block cycle（n≤480，N=40n）、Boyan chain（d=4，N=20000）、mountain car（八块 8×8 瓦片，总维数 512，轨迹中实际出现 417–452 维，N≤320000）、稠密漂移核（n=200，N=2×10^5）与目标网格世界（n=126）。学习型瓶颈编码器为标准 softmax Transformer 交叉注意力，三个种子、每点 8000 次更新。
R. Results（结果）
- 实现精确性。Stage-1 头对直接计数最大误差 2.2×10^−16；精确 Krylov 上下文加执行器对直接 TD 为 3.8×10^−15（平衡两遍）、8.0×10^−13（未平衡一遍）；sample-and-hold 8.9×10^−16；Krylov-anchored 2.8×10^−15；doubling 执行器 7.0×10^−15。
- 硬阈值与误差律。12 块循环 MRP（k_L=12）：Krylov 投影在 m=11 时误差 0.86，m=12 时降到 6×10^−16；可逆 MRP（k_L=24）在 m=4/8/12/20 时误差 1.1×10^−1/2.0×10^−4/2.2×10^−7/1.9×10^−14，截断为 1.2/0.73/0.45/0.15，sample-and-hold 为 1.1/1.0/0.12/0.053。γ=0.99 最坏环上，sample-and-hold 与 anchored 落在 [0.45,2.7]Ψ_m，次地平线斜率 −0.89 与 −0.93（预测 −1），Krylov 截断斜率仅 −0.14、最差 37 倍。
- 保留内存（KiB，float32）。block cycle n=480：本方法 48.8，统计量 903.8，稀疏 TD 102.2（较统计量小 94.6%）；n=24 时 2.49 略大于统计量 2.44。稠密漂移核 n=200：达到 10^−2 精度只需 15.7 KiB，稀疏 TD 139.0 KiB（省 88.7%），比原始批次小 150 倍；目标网格世界上稀疏 TD 仍最省（5.7 对 38.5 KiB）。mountain car：32 维上下文 116.7 KiB（108–117），统计量 799.8 KiB，小 6–7 倍且不随 N 增长；精确秩为满秩，但数值秩不超过 10。
- 参数恢复。全批 GD 3000 步归一化误差 1.0×10^−15，Adam 3.2×10^−16；轨迹监督 J_traj 的 Adam 在 6000 步为 7.4×10^−2、20000 步 3.3×10^−3；深度 30 的终点代理 J_end^(30) 停在 0.51，其深度 30 输出与 TD 相差 0.04，但整条轨迹差 0.63。
- 学到的瓶颈编码器。m≤8 时误差 0.50–0.89，优于 sample-and-hold 的 1.00–1.72；m≤4 时优于 anchored；但误差不随 m 下降，clocked 模型停在 0.61–0.63、time-invariant 停在 0.50–0.54（直到 m=24），而编译上下文在 m=24 达到 0.10 与 0.03。
- 数值稳健性。float32 全流程误差 2.0×10^−7–4.5×10^−7 且仍保留 k_L=12 个 token；float64 为 1.6×10^−16–2.9×10^−15。峰值内存与统计量同阶（Θ(n²)），原型实测为统计量的 12–16 倍。
| 任务 | n 或 d | N | Statistics | Sparse TD | Ours | Peak |
|---|---|---|---|---|---|---|
| Block cycle（k_L=12） | 24 | 960 | 2.44 | 0.75 | 2.49 | 37.5 |
| Block cycle（k_L=12） | 480 | 19200 | 903.8 | 102.2 | 48.8 | 10822.5 |
| Boyan chain（k_L^φ=4） | 4 | 20000 | 0.08 | – | 0.18 | 1.1 |
| Mountain car（m=32，ε≤1.1×10^−2） | 452 | 320000 | 799.8 | – | 116.7 | 9226 |
| Dense kernel（ε=10^−2） | 200 | 2×10^5 | 157.8 | 139.0 | 15.7 | – |
| Goal gridworld（ε=10^−2） | 126 | 1173 | 63.0 | 5.7 | 38.5 | – |
a / D. Discussion & Conclusion（讨论与结论）
- 理论意义。这是首个关于 ICRL 计算本身需要保留多少上下文的上下界结果：上下文维度、保留内存与峰值内存被显式区分，精确阈值由采样转移的 Krylov 维数给出，低于阈值时有匹配的极小极大误差律。它把“压缩”从表示学习问题变成可证明的复杂度问题，并说明经典 Krylov 截断在折扣接近一时会因把预算全花在前 m 步而出现最高 min{m,1/(1−γ)}/e² 的乘性差距，简单的 sample-and-hold 反而达到极小极大最优。
- 与经典 TD 压缩的关系。LSTD/iLSTD 用 Θ(n²) 的充分统计量 (A_N,b_N) 替换原始轨迹，本文进一步证明：对连续精确编码器，Θ(nk_L) 才是类级最优，且压缩可以在固定参数的注意力前向传播内端到端完成，不需要外部预处理；表格与线性特征两种设定分别是 k_L 与 k_L^φ。
- 可辨识性启示。只监督收敛终点的目标存在 (−aI, aI) 连续退化族，无法识别 TD 步长；只有监督整条轨迹（Prop 4.6）或在输入侧加满秩校准（Thm 4.8）才能全局识别。这解释了为什么仅用最终价值做预训练信号不足。
- 局限（Appendix I）。结果使用实数算术与 recip_0、token release、阈值门等声明原语；clocked 上下文把 γ 视为公开量；softmax 实现是编译式构造，不能说明训练后的 softmax 模型会怎样。最优性是 dense 开集上连续编码器的类级结论，稀疏模型可以存得更紧；最坏情形常数未优化（实测差距在 20 倍内）。峰值内存与算力没有降低，收益在可复用的保留上下文；原型峰值是统计量的 12–16 倍。学习部分只证明共享执行器可学，编码器联合训练仍开放。设定仅限固定策略的经验访问归一化 TD；控制问题中 Krylov 空间随策略变化，扩展尚未完成。
- 实践启示。长程 ICRL 的上下文预算应按任务的有效秩而非历史长度设定；对数值秩远小于精确秩的任务（如 mountain car 的瓦片特征），固定预算的 32 维上下文即可达到 10^−2 精度且与 N 无关；但把压缩器交给标准注意力自己学并不可靠，需要结构先验或显式编译。
🧠 IRMaD 思维导图
mindmap
root((可证明的上下文压缩))
I 引言
不改参数靠上下文学习
既有构造保留全史
记忆随记录线性增长
本文三个贡献
R 问题
最少需要多少维度
不够时误差多大
要复现每一步而非终点
内存下限如何
M 方法
两级注意力压缩
原始记录到状态统计
状态到克里洛夫方向
固定执行器逐步迭代
预算不足时取样保持
R 结果
最小维度等于克里洛夫维数
误差按折扣幂下降
取样保持达到上界
内存省近九成
截断法差三十七倍
a 讨论
维度由任务结构决定
终点监督不可辨识
学到的压缩器不随维度降
峰值内存未降低
D 结论
上下文有信息下限
只覆盖固定策略评估
控制问题仍开放
编码器联合训练待解
图：本研究的 IRMaD 思维导图。蓝色 I 引言；橙色 R 研究问题；绿色 M 方法； 橙色 R 结果；紫色 a 讨论；红色 D 结论。