# 逆向 JEPA 与动态 TTT：共享场景状态的学习、检验与修正

**合作者完整讨论方案**

工作英文题目：**Learning and Revising Shared Scene States through Grounded Prediction and Dynamic Test-Time Writes**

日期：2026-09-17  
版本：合作者讨论稿 v1.0  
项目：CV / Measurement Scene State  
研究目标：形成具有明确机制增量、可部署性和可复现证据的视觉方法，面向 CVPR 级别的方法论文

> **文档状态：拟议研究方案，不是实验结果报告。**  
> 两个研究核心确定为“逆向 JEPA”和“动态 TTT”，但它们在当前视觉实现中的独立新颖性及联合收益均未完成验证。Hypersim、ScanNet、ScanNet++、DL3DV 等数据和若干公开评测代码已经存在；本轮没有复现外部方法，也没有运行新联合方法。本文用于和合作者讨论研究是否值得做、怎样做以及怎样判断失败。

## 1. 先看结论

### 1.1 我们准备做什么

给模型陆续提供同一个房间的照片，让它形成一份可以从不同角度检查的三维场景状态。新照片可能补充之前没看到的区域，也可能否定原来的理解。我们研究两件事：

1. **怎样学到一份由真实观测约束、能够复用的场景状态？** 这是逆向 JEPA 的研究核心。
2. **新证据到来后，怎样决定本次是否学习、更新哪个模块，以及如何形成有效的更新轨迹？** 这是动态 TTT 的研究核心。

任务先限定为：已知相机参数的静态室内场景，图像按照原始轨迹顺序到达，模型在线修正场景估计。这里的“动态”指学习动作随证据和状态变化，不要求房间中的物体运动。

### 1.2 当前最诚实的判断

| 方面 | 当前判断 | 必须补上的证据 |
| --- | --- | --- |
| 研究动机 | 两个核心能组成一个连贯的问题 | 联合方案确实带来实际收益 |
| 逆向 JEPA | 原始想法清楚，当前三维实现与已有重建路线接近 | 相对最近方法的具体机制增量 |
| 动态 TTT | 动作轨迹和历史依赖值得研究 | 前缀可部署策略超过强固定/简单自适应策略 |
| 数据 | 公开数据足够，首轮不需要自采 | 场景序列、相机、尺度和留出视角整理 |
| 竞争工作 | 已有多篇直接相关的三维 TTT 和流式重建工作 | 对齐输入条件、读出目标和实际预算 |
| Benchmark | 有官方 NVS 基准，也有公开流式评测脚本 | 为两个核心增加机制归因实验 |
| CVPR 潜力 | 值得先做机制 pilot | 不能把“两项创新相加”当作录用依据 |

推荐执行顺序是：**数据与载体检查 → 静态共享状态 → 固定/变化写入 → 可部署策略 → 真实场景与外部比较。**

### 1.3 合作者需要先同意的研究边界

- 第一版研究已标定相机的静态室内场景。
- 在线策略只能使用已经到达的 RGB、相机、当前状态和过去历史。
- 深度可以用于 RGB+D 主效用轨的离线监督和动作收益教师；不能进入测试时控制器输入。
- 永久留出的查询视角和标签，在状态封存前不能进入构建、策略或预算。
- 旧 V5 结果只作比较背景和开发线索，不当作新联合方法的结果。
- 任何“必然对齐”“不会坍塌”“自动恢复真实世界”的表述都不是当前可支持的结论。

## 2. 用人话解释方法

模型先看房间正面的几张照片，建立一个暂时的三维草图。它可能把一扇半开的门误认为墙。

**逆向 JEPA**要求这份草图能够接受现实检查：模型用同一个场景状态，预测从其他相机位置应该看到什么、深度应该是多少；训练时把预测与真实照片和真实深度比较。一个状态要解释多个视角，而不是每次遇到新问题都临时编一个互不相容的答案。

随后，一张侧面的照片到达，显示那里其实是一扇门。

**动态 TTT**先用旧草图预测这张新照片，然后看预测和实际照片的差异。策略根据误差、场景状态、以前怎样更新以及剩余计算预算，选择：

- 这一步不写入快速权重；
- 更新多视角融合位置；
- 更新三维补全位置；
- 两个位置都更新。

写入规则修改少量本场景临时权重，模型再从已有观测读出新的场景状态。最后用没有参与在线更新的视角检查：门的位置是否真的变得更合理，还是只让当前照片看起来更像。

这里有三点不能混淆：

- 策略选择的是模块级动作，不是直接收到“把这个体素从墙改成门”的几何指令。
- 首版误差用于选择动作，写入目标仍来自已见图像特征；误差不直接提供沿射线的几何修正向量。
- 光照、颜色、遮挡和几何错误都会产生图像残差，所以误差大不等于一定要改几何，也不保证每次写入都会改善结果。

离线训练学习一般建图能力、写入规则和动作策略；部署时只更新当前场景的临时权重，换场景后清空。

## 3. 思想来源和创新边界

### 3.1 原始逆向 JEPA 想法

“逆向 JEPA”是项目内部的工作简称，不是已有标准方法名，也不是要求预测器成为目标编码器的严格数学逆函数。

典型 JEPA 可简化为：

$$
x_C \xrightarrow{E} h_C \xrightarrow{P} \hat h_T,
\qquad h_T=E_T(x_T).
$$

上下文表示预测目标编码器产生的隐藏表示。原始想法把目标换成可以由真实世界直接检查的量：

$$
x_C \xrightarrow{E} h_C \xrightarrow{P} \hat y_T,
\qquad \hat y_T \approx y_T^{\mathrm{real}}.
$$

真正想问的是：**不同局部观察受到共同真实目标约束时，能否形成共同、可复用的内部结构？**

当前三维实现把这个问题具体化为：

局部图像 → 查询无关的显式三维状态 → 固定测量程序 → 多个真实目标。

固定渲染是实现部件，不是原始思想的全部。三维坐标、密度、颜色和相机几何是主动加入的结构先验。因此我们检验的是“显式共同状态是否有可验证的预测能力”，不是声称任意黑箱中间层都会自动发现同一组三维坐标。

有限视角可能对应多种几何解释，真实观测还会受遮挡、噪声和光照影响。所以以下说法必须删除或改成待检验假设：

- 不同路径必然对齐；
- 真实目标天然保证不坍塌；
- 同一场景的内部表示必然唯一；
- 预测照片好就等于几何一定正确。

### 3.2 ICLR 初稿给 CV 方案提供什么

初稿 *Beyond Static Writes: Trajectory and State Diagnostics for In-Place Test-Time Training* 提供了：

- 多个候选位置上的直接快速权重写入；
- 恒定动作与变化动作轨迹的比较；
- 冻结目标投影、带符号通道 gate 和范数裁剪；
- 对历史状态、内容配对、执行路径和数值精度的诊断思路。

初稿主要用最终答案评价候选轨迹。它没有直接提供视觉任务中的 answer-free controller。因此 CV 方案新增的部分是：

1. 用固定测量得到更新前观测误差；
2. 把动作映射到视觉载体的两个实际可写位置；
3. 训练只看前缀信息的动作策略；
4. 在留出视角和共同资源预算下验证在线收益。

不能把 ICLR 初稿中已有的轨迹诊断原样算成 CV 新发现，也不能把初稿中的搜索赢家称为已经可部署的在线策略。

### 3.3 两个候选贡献的准确说法

**候选贡献 A：真实目标约束的共享场景状态学习。**  
从不同局部上下文形成与查询无关的 typed scene state，通过同一测量程序解释多个真实目标，并用跨上下文、留出测量和充分训练读出对照检验这种状态是否具有实际价值。

**候选贡献 B：测量反馈驱动的动态测试时写入。**  
在固定视觉载体和直接写入规则下，根据当前可见误差、场景状态、历史和预算预测不同写入动作的后续收益，选择前缀可部署的更新轨迹。

这两条是候选研究贡献，不是完成新颖性核验和实验后可以直接写进摘要的最终结论。

### 3.4 审查发现的主要风险

| 风险 | 含义 | 处理方式 |
| --- | --- | --- |
| A 接近成熟的多视角重建/逆图形 | 真实图像监督、显式三维表示和新视角渲染已有大量工作 | 找到明确的新约束/操作和能力增量；否则把 A 写成研究假设或系统设计 |
| TTT 动态性已有近邻 | TTT3R 已按匹配程度调节更新，MeMix 已选择性写入，ReCal3R 已使用可靠性/残差等信号 | 逐项对比更新率、块选择、可靠性和我们的动作/轨迹决策 |
| 离线 oracle 与在线策略有差距 | 最优动作可能依赖尚未出现的未来 | 报告 search-to-policy gap、动作排序和未见场景收益 |
| 两核心不一定有特殊耦合 | 普通学习型读出也可能提供残差 | 做反馈去除、固定/自由读出和完整双因素矩阵 |
| 重复前缀会制造额外收益 | 每步重读旧图可能等价于增加计算或重复曝光 | 记录前缀读取次数；加入匹配预算的 replay/fresh evidence 对照 |
| 单步裁剪不保证长期稳定 | 临时权重仍可能逐步漂移 | 做重复、一致、矛盾和新颖观测的长序列测试 |

## 4. 任务、数据和信息契约

### 4.1 首版任务

输入为同一静态场景中按原始轨迹顺序到达的图像和相机：

$$
o_t=(I_t,C_t),\qquad C_t=(K_t,T_t).
$$

$I_t$ 是 RGB，$K_t$ 是内参，$T_t$ 是位姿。相机由数据集提供；当前方案不研究在线相机估计。因此论文应称为“已标定相机条件下的流式多视角重建/适应”，不能把它描述成完整在线 SLAM。

建议 pilot 从 4 张预热图像、8 张后续图像和若干独立留出查询视角开始。这个长度只是开发起点，必须先核验原始帧 ID、视角变化和有效相机轨迹，不能复制已有帧伪造长序列。

### 4.2 三种对象

$$
B_t=\{I_i,C_i,F_\theta(I_i):i\le t\},
\qquad
W_t=W^{(0)}+\Delta W_t,
\qquad
S_t=D_\theta(B_t,W_t;\Omega).
$$

| 对象 | 含义 | 生命周期 |
| --- | --- | --- |
| $B_t$ | 原始观测或冻结特征缓存 | 场景内追加，换场景清空 |
| $\Delta W_t$ | 两个可写矩阵的临时偏移 | 场景内累积，每条独立轨迹重置 |
| $S_t$ | 密度、颜色和辅助量组成的场景解释 | 由 $B_t,W_t$ 重新读出，可缓存 |
| $r_t$ | 动作、变化、预算等历史摘要 | 确定性维护，换场景清空 |

首版不再创造一套和 $B_t,W_t$ 并列的递推场景记忆。替换快速权重后必须重新读取 $S_t$，避免使用与权重不匹配的旧状态。

### 4.3 训练、部署和评估的可见信息

| 信息 | 离线训练 | 在线适应 | 独立评估 |
| --- | --- | --- | --- |
| 已到达 RGB 与相机 | 可用 | 可用 | 可用 |
| 尚未到达未来图像 | 可做教师目标 | 不可用 | 可按协议评分 |
| 训练场景 RGB/深度目标 | 外层监督、收益标签 | 不适用 | 可用于开发 |
| 测试上下文深度 | 不进入主部署训练输入 | 不可用 | 仅按声明用途使用 |
| 永久留出 query RGB/深度 | 对应训练场景可监督 | 封存前不可用 | 封存后使用 |
| 永久留出 query 相机 | 只进入训练测量/监督 | 封存前不进入构建或策略 | 封存后用于读出 |

刚到达的 RGB 可以检验旧状态，但若将该帧作为“未更新预测”的成绩，只能使用更新前输出。更新后拟合当前帧另报。

训练、开发和测试按 scene 划分。同一地点的重复扫描不应跨划分。已经被反复用于调参的场景不能重新称为未触碰测试场景。

### 4.4 两个独立上下文

核心 A 的每个单元包含同场景的两个上下文子集。默认两组等量，仅共享一个坐标 anchor，其余图像不重叠。两组分别构建缓存、状态和快速权重，再用相同的多个留出 query 评价。

共同 query 从两条完整上下文的观测并集中排除。不能先融合全量图片，再在输出端遮挡来伪装独立上下文。共同支持不足时，应报告覆盖，不强迫不可见区域一致。

## 5. 视觉载体与共享状态

### 5.1 载体结构

~~~mermaid
flowchart LR
    O["已见 RGB 与相机"] --> E["冻结图像特征和三维候选位置"]
    E --> F["多视角融合，含可写位置 L_fuse"]
    F --> C["空间处理和三维补全，含可写位置 L_complete"]
    C --> S["统一密度/颜色场景状态"]
    S --> M["固定测量程序"]
    M --> Y["RGB、深度、法线、点和可见性"]
    Q["查询相机"] --> M
~~~

两个可写位置必须是实际存在的通道 MLP 下投影或 pointwise 线性矩阵。不能把已有 3×3 卷积核直接称为下投影；若未来更新卷积核，需要重新定义矩阵、展开张量和预算。

部署时冻结图像编码器、其他网络参数、初始权重、写入投影、gate 和策略。离线训练阶段可以学习这些组件。

### 5.2 显式场景状态

$$
S_t=(z_t(\mathbf x),c_t(\mathbf x),\Omega),
\qquad
\sigma_t(\mathbf x)=\operatorname{softplus}(z_t(\mathbf x)).
$$

$z$ 是 density logits，$c$ 是 RGB 颜色，$\Omega$ 是预先规定的米制空间范围。范围和候选位置不能由测试目标几何反推。

沿射线 $\mathbf x_i=\mathbf o+d_i\mathbf r$：

$$
\alpha_i=1-\exp(-\sigma_i\delta_i),\qquad
T_i=\prod_{j<i}(1-\alpha_j),\qquad
w_i=T_i\alpha_i.
$$

$$
\hat I=\sum_i w_i c_i+\left(1-\sum_iw_i\right)c_{\mathrm{bg}},
\qquad
\hat V=\sum_iw_i,\qquad
\hat D=\sum_iw_i d_i.
$$

深度保留当前方案的定义：未按不透明度归一化的射线距离加权和，不是相机 z-depth。点由 $\mathbf o+\hat D\mathbf r$ 得到，法线按密度梯度读出。所有主表同时报告 opacity、有效像素和 coverage，防止透明度变化被误解为深度改善。

### 5.3 旧 V5 读出约束

旧 V5 形式为：

$$
z=4c-2+(1-0.9c)r,\qquad r\in[-4,4].
$$

这里的 $c$ 是旧外观 confidence，不是上面的颜色。当 $c=1$ 时 $z\in[1.6,2.4]$，高外观一致位置难以被改为空间。

新载体应允许 density logits 充分正负修正。这是载体修正，不是动态 TTT 的增量；它必须同时存在于 OFF、固定写入和动态写入组。旧 V5 保留为可恢复比较点。

### 5.4 核心 A 的功能定义

对上下文分支 $b\in\{1,2\}$：

$$
S^{(b)}=D_\theta(B^{(b)},W^{(b)}),\qquad
\hat y_{q,b}^{m}=\mathcal M_m(S^{(b)},C_q).
$$

一次形成并封存的状态需要回答多个 query。查询相机只进入测量程序，真实目标只进入训练损失或封存后的评分。主输出不能由单独的 query-conditioned 图像头绕开场景状态。

两状态在有限 query 上产生相近测量，最多说明规定查询族上的功能等价，不推出隐藏向量相等或状态唯一。首版不加入全体素硬对齐损失；不同上下文对不可见区域的差异可能是合理的。

## 6. 动态 TTT 与直接写入

### 6.1 动作集合

$$
\mathcal A=\{\mathrm{OFF},L_{\mathrm{fuse}},L_{\mathrm{complete}},\mathrm{ALL}\}.
$$

| 动作 | 含义 |
| --- | --- |
| OFF | 新图像进入观测缓存，但本步不新增快速权重写入 |
| $L_{\mathrm{fuse}}$ | 只更新多视角融合位置 |
| $L_{\mathrm{complete}}$ | 只更新三维补全位置 |
| ALL | 同一步同步更新两个位置 |

不能预先声称 fuse 就是纠错、complete 就是补全；它们的作用必须由实际路径和消融确认。

### 6.2 写入目标

对固定三维候选位置，投影到已经到达的图像并采样冻结特征 $f_{k,i}$。有效性 $s_{k,i}$ 只由有限值、相机前方和图像边界等确定性条件产生：

$$
n_{t,i}=\sum_{k\le t}s_{k,i},\qquad
\mu_{t,i}=\frac{\sum_{k\le t}s_{k,i}f_{k,i}}{\max(n_{t,i},1)},
$$

$$
\nu_{t,i}=
\frac{\sum_{k\le t}s_{k,i}(f_{k,i}-\mu_{t,i})^{\odot2}}
{\max(n_{t,i},1)},
\qquad
h_{\ell,t,i}=Q_\ell([\mu_{t,i},\nu_{t,i},n_{t,i},\xi_{t,i}]).
$$

$\xi$ 包含已知坐标和观察方向，$Q_\ell$ 离线学习、部署冻结。首版要求至少两个有效视图支持一个候选写入。这个条件是多视图支持，不是表面真值。

候选位置和采样 pack 固定。预测 density/visibility 不能永久阻止困难位置被写入，否则错误状态可能屏蔽修正所需的证据。均值/方差也不等于正确几何。

### 6.3 直接外积更新

对位置 $\ell$：

$$
W_\ell\in\mathbb R^{d_\ell\times m_\ell},\qquad
u_{\ell,t,i}\in\mathbb R^{m_\ell},\qquad
h_{\ell,t,i},g_\ell\in\mathbb R^{d_\ell},\qquad
P_\ell\in\mathbb R^{d_\ell\times d_\ell}.
$$

$u$ 是当前位置的激活，$g$ 是带符号通道向量：

$$
v_{\ell,t,i}=P_\ell^\top(g_\ell\odot h_{\ell,t,i}),
$$

$$
\delta W_{\ell,t}=
\operatorname{clip}_{F,\epsilon_\ell}
\left(
\eta_\ell\sum_{i\in\mathcal P_t}
q_{t,i}v_{\ell,t,i}u_{\ell,t,i}^{\top}
\right),
$$

$$
W_{\ell,t}=W_{\ell,t-1}+m_\ell(a_t)\delta W_{\ell,t}.
$$

$m_\ell$ 是动作掩码，$q$ 是确定性的支持/去重权重，$\mathcal P_t$ 是固定大小的采样包。部署时没有 inner-loss backward、Adam 或 ridge solve；部署只执行冻结写入规则。

裁剪限制单次建议增量的 Frobenius 范数，但不保证长期累计偏移稳定，也不保证任务损失单调下降。学习率、裁剪和 token pack 尺度需用视觉开发集选择。

### 6.4 同步提交和顺序诊断

同一步先用旧权重 $W_{t-1}$ 计算所需候选，再同步提交选中位置，最后用 $W_t$ 独立读取场景。ALL 中的补全增量不能读取同一步刚提交的融合增量。

如果做“先融合后补全”和“先补全后融合”的顺序诊断，它指两个连续步骤：

$$
\delta W_c^{(2)}(W_f+\delta W_f^{(1)})
-\delta W_c^{(2)}(W_f)
\approx
\frac{\partial\delta W_c^{(2)}}{\partial W_f}\delta W_f^{(1)}.
$$

这里上标表示第 1、2 个诊断步骤，不表示 ALL 内部顺序。固定特征上的增量可以交换，外积本身不保证顺序一定有效。

必须区分三件事：顺序改变数值、顺序改变预测、顺序形成可预测且有益的任务差异。只有第三件事支持轨迹控制价值。

## 7. 测量反馈与在线策略

### 7.1 更新前反馈

模型先用旧状态预测新相机：

$$
\hat I_t^-=\mathcal M_{\mathrm{RGB}}(S_{t-1},C_t),
$$

$$
e_t=
\left[
I_t-\hat I_t^-,
F_\theta(I_t)-F_\theta(\hat I_t^-)
\right].
$$

此时 $S_{t-1}$ 尚未吸收 $I_t$。策略可看当前 RGB 和相机，但不能看未来图像或留出目标。

首版 $e_t$ 只进入策略，不直接进入 $v_{\ell,t,i}$。直接把残差变成沿射线的几何写入目标属于后续版本，因为遮挡和颜色/几何归因尚未解决。

### 7.2 策略输入输出

策略输入包括低分辨率误差图或分区摘要、当前图像特征、状态和 coverage 统计、视角变化、快速权重统计、上一步动作以及剩余预算。轻量编码器和 MLP 输出各动作的收益分值：

$$
z_t=\Phi(e_t,\operatorname{stats}(S_{t-1}),\operatorname{stats}(\Delta W_{t-1}),B_{t-1},C_t,r_{t-1},b_t),
$$

$$
a_t=\arg\max_{a\in\mathcal A(b_t)}Q_\psi(z_t,a;h).
$$

$h$ 是收益覆盖的未来时间范围，$b_t$ 是预算。首版不增加独立循环策略记忆，历史主要由快速权重和确定性摘要承载。

预测 opacity 可作提示，但必须保留原始误差和有效像素计数。未经校准的 uncertainty 不作为主控制信号。

### 7.3 在线伪代码

~~~text
输入：冻结载体、冻结写入规则、冻结策略、固定相机/范围协议、总预算

B <- 预热图像及冻结特征
DeltaW <- 0
S <- read_scene(B, W0 + DeltaW)
history <- 空摘要

for 每个新到达的 (I_t, C_t):
    预留当前观测、未来观测和最终查询的必需成本
    prediction_pre <- render(S, C_t)
    feedback <- compare(I_t, prediction_pre)
    a <- policy(feedback, S, DeltaW, history, feasible_budget)
    B_new <- append_observation(B, I_t, C_t)

    if a != OFF:
        trace <- read_write_features(B_new, W0 + DeltaW)
        proposals <- direct_write(trace, observed_feature_targets(B_new))
        DeltaW <- commit_simultaneously(DeltaW, proposals, a)

    B <- B_new
    S <- read_scene(B, W0 + DeltaW)
    更新 history、实际调用账本、耗时和峰值内存

seal(S, DeltaW, observation_ids, execution_config)
独立评估器读取留出 query 相机和标签，评价封存状态
~~~

查询只能读，不得改写 $B,W,S$ 或任何适应状态。最后一步写入后必须显式重新读取场景，不能因为少一次 read 而使最后动作没有作用。

### 7.4 预算和复杂度

每步成本至少包括：

$$
C_t=C_{\mathrm{encode}}+C_{\mathrm{feedback}}+C_{\mathrm{policy}}
+C_{\mathrm{write\_features}}+C_{\mathrm{outer\_product}}
+C_{\mathrm{materialize}}.
$$

若每一步都重读完整前缀，完整序列总成本可能达到 $O(T^2)$。快速权重大小固定，不等于整个系统常数内存或线性时间。增量统计、关键帧缓存和压缩缓存应在机制成立后单独研究。

用固定算子、张量尺寸和调用数定义硬预算，并另报 wall-clock latency、峰值显存和能耗。若已知总 episode 长度，动作可行性为：

$$
\mathcal A(b_t)=\{a:b_t\ge m_t+c_t(a)+R_{t+1}\},
\qquad
b_{t+1}=b_t-m_t-c_t(a_t).
$$

$m_t$ 是本步必须工作的成本，$c_t(a)$ 是动作额外成本，$R_{t+1}$ 是未来必需成本。不能跳过困难帧来保持预算可行。

## 8. 离线训练和动作教师

### 8.1 阶段 A：训练共享状态

两组上下文独立构建状态并预测相同的真实目标：

$$
\mathcal L_A=
\frac{1}{2|\mathcal Q|}
\sum_{b=1}^{2}\sum_{q\in\mathcal Q}
\sum_{m\in\mathcal H_{\mathrm{train}}}
\lambda_m\ell_m\left(\mathcal M_m(S^{(b)},C_q),y_q^m\right).
$$

主效用轨使用 RGB 和 depth。先充分训练 OFF 版本，再检查多 query 预测、跨上下文正确性和读出对照。不能直接从联合总分推断 A 已成立。

共同目标配对本身不是新损失。如果两组边际采样相同，上式的可加平均可能与独立采样有相同期望目标。配对的价值在交叉诊断和方差控制，方法增量必须来自明确结构/训练约束。

### 8.2 阶段 B：加入直接写入

加入两个真实可写矩阵、轨迹私有偏移和同步提交，使用短序列展开训练。训练动作覆盖 OFF、固定位置、ALL 及与标签独立的变化轨迹。

各分支使用自己的缓存和快速权重。不同结构匹配相同的 context-query-ray-modality 清单、标签重复次数、状态构建次数、训练步数和开发预算。训练结束后冻结载体 checkpoint。

### 8.3 阶段 C：生成动作收益标签

不需要人工逐帧标注“此时应该选哪个动作”。在训练场景前缀上分支执行各动作，用相同未来观测和规定的续接策略计算后续几何收益。

令 $t$ 为当前写入完成的时刻：

$$
\mathcal U_{t,h}=\{t,\ldots,\min(t+h-1,T)\},
$$

$$
L_{t,h}(a)=\frac{1}{|\mathcal U_{t,h}|}
\sum_{u\in\mathcal U_{t,h}}\mathcal L_D(S_u^{(a)}),
\qquad
A_{t,h}(a)=\overline L_{t,h}-L_{t,h}(a).
$$

$\mathcal L_D$ 使用预先固定 query 上的深度 AbsRel。$h=1$ 是一步收益，较大 $h$ 是长期收益。所有分支共享 query、真值 mask 和评分权重；不能因某分支失败就删除困难元素。

收益标签是“规定未来和续接条件下的分支收益”，不是全局最优价值。有限轨迹搜索也是已评估候选的下界，不能称严格 oracle 上界。

### 8.4 阶段 D：训练前缀策略

用收益回归或动作排序训练 $Q_\psi$，保留近似并列动作。未来图像和深度只进入监督端，不进入策略输入。

同一前缀可能通向不同未来，因而离线最佳动作可能互相冲突。策略学习训练分布下的条件期望，不能保证复现知道未来的教师。

训练后在训练场景收集策略自己访问的前缀并补充收益标签，减少只在教师轨迹上训练造成的分布偏移。最终测试前冻结载体、策略、超参数、预算和评价程序。

### 8.5 RGB+D 主线和 RGB-only 诊断

| 轨道 | 训练/选择允许的标签 | 可以支持的主张 |
| --- | --- | --- |
| RGB+D 主效用轨 | 训练/开发 RGB、depth；depth 可产生动作收益教师 | 测试时仅 RGB+相机输入下的几何适应效果 |
| 严格 RGB-only 轨 | 本轨只使用 RGB 与声明的相机 | 本任务训练未使用深度标签时，封存状态的几何读出能力 |

RGB-only 轨不能继承深度训练 checkpoint、按 depth 选出的停止步数或深度收益教师。采样、有效 mask、场景筛选和范围选择也不能暗用深度。必须登记图像编码器预训练和相机标定中的几何先验。

## 9. 实验矩阵：怎样把收益归因清楚

### 9.1 同一载体的动态比较

| 编号 | 方法 | 变化因素 | 主要问题 |
| --- | --- | --- | --- |
| B0 | OFF，持续接收新观测 | 关闭快速权重写入 | 写入是否有任何收益 |
| B1 | 固定 fuse、complete 或 ALL | 整段使用固定动作 | 固定 TTT 能达到什么程度 |
| B2 | 固定周期/分阶段时间表 | 只在开发集选择时间表 | 简单 schedule 是否已经足够 |
| B3 | 当前观测策略 | 只看当前 RGB、相机和预算 | 当前内容能解释多少动作收益 |
| B4 | 状态策略，去掉显式测量残差 | 增加状态和历史摘要 | 状态是否提供额外决策信息 |
| B5 | 完整反馈的一步策略 | 训练一步几何收益 | 状态感知的一步决策有多强 |
| B6 | 完整反馈的长期策略 | 与 B5 相同，只改变 horizon | 长期后果是否带来额外收益 |
| D0 | 逐场景最佳固定动作 | 使用开发标签选常量动作 | 固定动作族的诊断上限 |
| D1 | 最佳已评估动态轨迹 | 有限搜索候选轨迹 | 搜索可达机会和教师差距 |

B3、B4、B5、B6 要保持策略容量、输入尺寸和成本定义一致。D0、D1 只作离线诊断，不能混入部署排名。

### 9.2 核心 A 的静态读出比较

先关闭测试时写入，使用同一训练清单：

| 编号 | 对照 | 回答的问题 |
| --- | --- | --- |
| R-Fixed | query-independent typed state + 固定测量 | 共享状态能否支持多个真实 query |
| R-Residual | 同 typed schema + 充分训练的 query-conditioned residual readout | 放松固定读出后，状态本身贡献多少 |
| R-Direct | 充分训练的直接图像/几何预测器 | 显式共享状态相对直接重建有什么价值 |
| R-Latent | latent-target JEPA 预训练 + 公平下游读出 | grounded target 与 latent target 的差异 |
| R-Anchor | 只共享 anchor | 共同 anchor 是否解释主要收益 |
| R-Mean | 与上下文无关的均值预测 | 数据先验是否足以解释结果 |

R-Residual 的参数、训练和推理成本必须计入；不能故意削弱自由读出来制造固定测量的优势。R-Latent 若下游用深度校准，必须说明“未使用真实目标”只适用于哪个阶段。

### 9.3 两核心联合矩阵

完整逆向 JEPA 是研究思想，不能通过一个简单开关完全去掉。首版用两种读出设计和三种写入策略组成 $2\times3$：

| 表示/读出 | T0：OFF | TF：固定写入 | TD：前缀动态策略 |
| --- | --- | --- | --- |
| R-Residual | R-OFF | R-FIX | R-DYN |
| R-Fixed | G0 | GF | GD，联合主方法 |

每一行单独训练并冻结载体 checkpoint；同一行三列只改变部署写入策略。两行使用相同状态 schema、动作位置、策略字段、输入帧、监督来源和开发预算。R-Residual 额外读出头的成本保留，不能声称两行总容量相同。

令 $L_{G,F},L_{G,D},L_{R,F},L_{R,D}$ 为同预算的 scene-macro AbsRel：

$$
\delta_G=L_{G,F}-L_{G,D},\qquad
\delta_R=L_{R,F}-L_{R,D},
$$

$$
\Delta_{\mathrm{int}}=\delta_G-\delta_R.
$$

分别报告 OFF 下表示差异、固定写入增量、动态相对固定增量和交互区间。两个核心可以各自有用而交互接近零，不强求超加性。只有反馈消融、绝对性能、失败率和成本都支持时，才提高“二者特别适配”的主张。

### 9.4 历史作用和动作价值

固定观测包上比较 fuse→complete 与 complete→fuse，分离顺序效应。自然前缀上构造两种历史，后接相同观测和相同动作。

令 $J$ 为越大越好的共同终点：

$$
\Gamma=
\left[J(W^A,a)-J(W^A,b)\right]
-\left[J(W^B,a)-J(W^B,b)\right].
$$

$\Gamma$ 检查规定条件下历史是否改变后续动作的相对收益，但不是整个系统的完整因果分解。策略干预时必须同步重算与新状态一致的反馈和历史摘要，不能只换权重而继续使用旧摘要。

### 9.5 反馈是否真的指向几何收益

在训练/开发场景的相同前缀和候选动作上，同时记录：

- 当前 RGB 代理变化；
- 留出 RGB 变化；
- 后续深度变化；
- 后续法线或点图变化；
- action rank 与真实收益 rank 的相关性；
- 分支 regret 和 search-to-policy gap。

如果残差只能预测颜色改善，主张应收缩为 RGB 引导的适应。只有未见场景的后续几何也改善，才能支持几何控制贡献。

## 10. 数据集：够不够、怎么用

### 10.1 Hypersim：第一阶段首选

官方说明：Hypersim 是逼真的合成室内场景数据集，包含数百个场景、公开 RGB 图像、完整相机轨迹、深度、法线和其他像素级标注，并提供按 scene 划分的训练/验证/测试列表。

适合我们的原因：

- 深度和相机参数完整，便于训练收益教师和做严格留出；
- 可以从同一场景轨迹切出预热、流式观测和查询；
- 合成环境便于控制视角、遮挡、纹理和反例；
- 适合作为第一轮机制验证，不受真实传感器噪声干扰。

现实成本：官方完整数据约 1.9 TB，ZIP 文件分散在多个包中。第一轮不需要完整下载，应按固定 scene 清单下载子集。注意 Hypersim 的 depth_meters 是到相机光心的欧氏距离，不是相机 z-depth；相机位置用 asset coordinates 保存，需要按每个 scene 的 scale factor 转换。不能在这里混用距离定义。

官方链接：

- 项目与下载说明：https://github.com/apple/ml-hypersim
- 许可证：CC BY-SA 3.0，具体使用仍以官方条款为准。

### 10.2 ScanNet：真实室内流式验证

ScanNet 是真实 RGB-D 视频数据集，包含约 1500 个扫描序列、每帧颜色和深度、相机位姿、表面重建和语义标注。它很适合检验真实噪声、深度缺失、轨迹误差和长序列稳定性。

获取需要填写官方使用协议并按机构邮箱申请。它的 .sens 格式需要使用官方工具解析；深度对齐、内参和位姿处理必须版本化记录。

官方链接：

- 项目与 Terms of Use：https://github.com/ScanNet/ScanNet

### 10.3 ScanNet++：高质量 NVS 外部验证

ScanNet++ 提供高精度激光扫描、注册 DSLR 图像和 iPhone RGB-D 流，并提供 NVS benchmark。官方页面显示其 NVS 测试集包含 50 个场景，另有 12 场景 small set；指标为 PSNR、SSIM 和 LPIPS，提供公开验证脚本，测试集隐藏。

它适合在方法机制跑通后做高质量新视角合成验证，但访问需要注册/登录和下载 token。其 benchmark 主要评价最终渲染质量，不直接评价在线动作轨迹，因此要和我们的流式协议分开报告。

官方链接：

- 数据集：https://scannetpp.mlsg.cit.tum.de/scannetpp/
- NVS benchmark：https://scannetpp.mlsg.cit.tum.de/scannetpp/benchmark/nvs
- 论文：https://arxiv.org/abs/2308.11417

### 10.4 DL3DV-10K：更大规模 NVS 交叉验证

DL3DV-10K 是真实视频场景数据，提供图像和相机参数；其项目页提供 140 场景 NVS benchmark，另有不同分辨率的大规模数据和 Hugging Face 下载方式。

它适合测试跨场景和更复杂的真实采集条件，也被 tttLRM 等工作用于 NVS/三维重建评估。但访问和磁盘成本高，条款需要单独核实；不建议作为第一轮机制载体。

官方链接：

- 数据集与 benchmark：https://github.com/DL3DV-10K/Dataset
- benchmark 数据：https://huggingface.co/datasets/DL3DV/DL3DV-Benchmark

### 10.5 数据使用决策

| 阶段 | 数据 | 目的 |
| --- | --- | --- |
| Pilot | Hypersim scene 子集 | 先确认 A、写入和策略是否有可达收益 |
| 真实验证 | ScanNet 子集 | 检验真实 RGB-D 噪声和流式长序列 |
| 外部 NVS | ScanNet++ small/full 或 DL3DV-140 | 检验新视角质量和跨域表现 |

同一批数据可支撑两个核心，但必须把静态 context/query 实验和原始顺序流式 episode 分成不同 manifest。不能用一套随意随机窗口同时声称表示泛化和流式控制。

## 11. 竞争论文和现成 benchmark

### 11.1 需要正面对比的直接近邻

| 工作 | 已核对的关系 | 我们要回答的区别 |
| --- | --- | --- |
| **tttLRM**，CVPR 2026 | 用 TTT 快速权重压缩观察，形成隐式三维状态；支持长上下文、autoregressive 和 streaming reconstruction | 它强调用 TTT 形成/读取场景状态；我们需要证明测量反馈选择不同视觉写入动作的增量 |
| **ZipMap**，CVPR 2026 | 将图像集合压入紧凑场景状态，支持状态 query 和 streaming 版本 | 它强调线性时间和 stateful reconstruction；我们要在同任务条件下比较动作策略和真实预算 |
| **TTT3R**，ICLR 2026 项目页/预印本 | 根据记忆状态与输入观测的 alignment confidence 推导更新率 | “更新随输入变化”本身不能算我们的独立创新；需要比较更新率调节和模块动作选择 |
| **MeMix**，2026 预印本 | 将状态拆成 memory patches，只更新最不匹配的部分 | 它是选择性写入的直接近邻；我们需比较模块/轨迹级决策是否带来额外收益 |
| **ReCal3R**，2026 预印本 | 根据状态可靠性、候选学习率、残差和更新压力校准更新 | 需对比连续学习率校准与离散写入动作/长期价值策略 |
| **Point3R**，2025 预印本 | 使用显式空间 pointer memory 做在线流式三维重建 | 作为非 TTT 的强流式记忆基线，检验显式状态本身的收益 |
| **LONG3R**，2025 预印本 | 递归记忆、门控和三维时空记忆，面向长序列流式重建 | 作为固定门控/时空记忆路线，检验动态策略不是普通门控的改名 |

这些工作的公开摘要/项目页支持“方法接近”的判断；正式论文表格、输入模态、训练数据和指标仍需在冻结实验清单前逐篇核实。不能仅凭摘要推断它们没有某个具体动作策略。

### 11.2 其他必要基线

- 直接优化的 density/color，使用相同观察、相同计算预算和相同重放规则。
- 充分训练的 query-conditioned learned decoder。
- 传统或学习型多视角重建方法，如 MVSplat、pixelNeRF/GRF 类方法，作为核心 A 的表示背景。
- CUT3R/DUSt3R/VGGT/Spann3R 生态中的公开流式或点图基线，按其原生任务分别报告。
- 固定时间表、随机策略和状态感知一步贪心策略。
- 离线有限搜索轨迹，只作为机会诊断和 teacher 参照。

如果外部方法的相机条件、观察数量、预训练数据或输出形式不同，单独分组并写清差异，不能将不同任务的分数拼成一张伪公平排行榜。

### 11.3 现成 benchmark 能回答什么

| 评测资源 | 主要指标/任务 | 能回答 | 不能单独回答 |
| --- | --- | --- | --- |
| ScanNet++ NVS | PSNR、SSIM、LPIPS，新视角渲染 | 最终场景状态的图像质量 | 动作为什么被选、是否前缀可部署 |
| DL3DV-140 | NVS 质量、真实视频场景泛化 | 大规模跨场景渲染能力 | 受限预算下的在线历史作用 |
| RealEstate10K 协议 | 少量上下文到新视角 | 稀疏视角 NVS | 已标定静态流式策略的几何因果 |
| ScanNet/7-Scenes/Neural RGBD 等流式协议 | 点图、深度、相机/重建误差和序列长度 | 长序列状态质量与漂移 | 逆向 JEPA 共同状态是否是原因 |

TTT3R 和 MeMix 的公开代码都沿用 MonST3R/Spann3R 一类数据预处理和评测脚本；ZipMap 的评测代码基于统一 reconstruction evaluation 框架。它们可作为工程起点，但我们仍需自己实现动作、预算和信息隔离。

## 12. 评价指标和统计

### 12.1 主终点

推荐主终点：完整 episode 结束后，固定留出查询视角的 scene-macro depth AbsRel：

$$
E_{s,e,q}=
\frac{1}{|M_{s,e,q}|}
\sum_{p\in M_{s,e,q}}
\frac{|\hat D_{s,e,q}(p)-D^*_{s,e,q}(p)|}
{D^*_{s,e,q}(p)}.
$$

先在 scene 内平均 query 和 episode，再对 scene 等权平均。不能将同一 scene 的多个窗口当作独立统计样本。

### 12.2 共同上下文诊断

在固定共同支持 $M_q^{\cap}$ 上报告两组状态的深度差异：

$$
\operatorname{Dis}_q=
\frac{1}{|M_q^{\cap}|}
\sum_{p\in M_q^{\cap}}
\frac{|\hat D_{q,1}(p)-\hat D_{q,2}(p)|}{D_q^*(p)}.
$$

同时报告共同支持上的真实误差：

$$
\operatorname{Err}_q^{\cap}=
\frac{1}{2|M_q^{\cap}|}
\sum_{b=1}^2\sum_{p\in M_q^{\cap}}
\frac{|\hat D_{q,b}(p)-D_q^*(p)|}{D_q^*(p)}.
$$

小 Dis 只有伴随低真实误差、输入依赖和合理 coverage 时，才支持功能一致性。单独一致但共同错误不能作为 A 的成功证据。

### 12.3 动态策略指标

- 完整 episode 留出深度 AbsRel；
- 每一步更新前和更新后 RGB/深度误差；
- 固定策略到动态策略的配对差值；
- branch regret；
- search-to-policy gap；
- 动作排序与真实分支收益的相关性；
- 失败率、负迁移比例和动作切换次数；
- 编码、反馈、策略、写入、materialization 的实际耗时和峰值显存；
- 质量—资源曲线，而不是只报固定写入次数。

正式测试前冻结场景、随机种子、query、ray、mask、预算和主要比较。区间跨过预先规定的有意义改善边界时判为不确定，不能把未显著当作等效。

## 13. 失败条件和主张收缩规则

| 观察结果 | 应如何解释 |
| --- | --- |
| A 与充分训练自由读出没有清楚差异 | 不能把逆向 JEPA 写成独立算法；最多保留为状态设计/训练假设 |
| 两上下文一致性下降但真实误差不降 | 共同错误或表示压缩，不能宣称对齐 |
| 只有 oracle 轨迹有效，前缀策略无效 | 只能报告轨迹机会诊断，不能宣称可部署动态 TTT |
| 固定两阶段 schedule 与长期策略相当 | 不强推复杂策略；把结果写成简单调度已足够 |
| TTT3R/MeMix/ReCal3R 在匹配预算下同样有效 | 动作/轨迹独立增量需要重新定位 |
| 动态增益在固定 materialization 后消失 | 先修执行协议，不能解释成学习机制 |
| RGB 变好但深度和未见几何不变 | 主张收缩为 RGB 引导的外观适应 |
| OFF 已获得新载体的大部分提升 | 将载体修正和动态收益分开归因 |
| 重读前缀或额外试算解释全部收益 | 增益属于计算/观测量变化，不属于策略本身 |
| 直接优化在相同预算下持续更强 | 重估实用性，不能继续强调动态策略全面优越 |
| 长序列出现累计漂移 | 限定序列长度，另立稳定化/压缩缓存研究 |

这些不是预先否定方案，而是防止结果出来后只挑支持叙事的部分。

## 14. 实施阶段和交付物

### 阶段 0：锁定数据和比较起点

- 固定 scene split、相机轨迹、预热/流式/query 角色、坐标尺度和深度语义。
- 生成两组 context、共享 anchor、query-ray 清单和标签访问账本。
- 保留 V5 代码、checkpoint 和负结果；新方案使用独立配置和输出名。
- 完成 R0 几何能力诊断，区分状态/渲染容量问题和 RGB 几何学习问题。

交付：dataset manifest、信息边界表、载体接口、预算表和静态能力报告。

### 阶段 1：先检验核心 A

- OFF 条件下训练多上下文、多 query 真实目标预测。
- 比较 R-Fixed、充分训练 R-Residual、R-Direct 和必要的 R-Latent。
- 做 anchor-only、跨场景替换、独立视角增加、密度/颜色干预和共同支持诊断。
- 单独建立 RGB-only 轨并登记所有预训练/几何先验。

交付：核心 A 的静态证据包、checkpoint、失败分解和标签来源。

### 阶段 2：直接写入和轨迹诊断

- 加入两个实际可写位置、轨迹私有偏移、同步提交和独立 post-write read。
- 比较 OFF、固定 fuse/complete/ALL 和简单 schedule。
- 做固定观测包顺序、自然前缀续接、历史替换和重复/矛盾观测测试。
- 记录动作是否真的改变两个位置、状态和留出几何。

交付：固定写入增量、轨迹机会、历史作用、成本账单。

### 阶段 3：训练和验证策略

- 在训练场景生成一步/长期收益分支标签。
- 训练 B3-B6，收集策略自己访问的训练前缀并补标。
- 在 R-Fixed 和 R-Residual 两行分别训练容量匹配的策略。
- 冻结模型后运行完整 $2\times3$ 矩阵和最强固定策略。

交付：核心 B 和联合证据、反馈/长期消融、search-to-policy gap、质量—资源曲线。

### 阶段 4：外部验证

- 先在 Hypersim 证明机制，再选满足协议的 ScanNet 子集。
- 之后接 ScanNet++ NVS 或 DL3DV-140，至少复核关键 signature。
- 检查短/长序列、重访、纹理、遮挡和跨上下文条件。
- 按真实证据分别决定 A、B 和交互能写到什么程度。

交付：外部验证结果、失败案例、可复现实验配置和论文证据表。

## 15. 建议的代码模块边界

| 模块 | 职责 | 不承担 |
| --- | --- | --- |
| Episode/ObservationStore | 输入顺序、原始/冻结特征缓存 | 读取留出标签供策略使用 |
| ContextQuerySampler | 独立上下文、多 query、训练元组配平 | 先融合全量再伪装独立 |
| GroundedStateTrainer | 真实目标监督和有限步展开 | 声称 batch 配对本身是新损失 |
| VisualWriteHost | 可修正场景构建、两个可写矩阵 | 面向 query 重新生成场景 |
| MeasurementReadout | 固定 RGB/深度/几何测量 | 读取未来或改写状态 |
| FeedbackExtractor | 更新前渲染和误差摘要 | 用预测 mask 隐藏失败 |
| WriteOperator | 目标特征、外积、裁剪、同步提交 | 搜索答案或隐式反向传播 |
| ActionPolicy | 前缀信息到动作收益/动作选择 | 访问未来和最终答案 |
| OfflineLabeler | 训练场景分支重放与收益标签 | 混入部署推理 |
| Evaluator | 封存后 query/GT 读取、固定评分 | 改写适应状态 |
| LabelAccessManifest | 登记预训练、损失、教师、选择和评估标签 | 隐藏深度教师 |
| CostLedger | 计费规模、调用次数和实测资源 | 为新方法免费计算额外操作 |

实现时先确认当前源码接口，再生成文件级实施计划；本文不把拟议模块写成已经存在的源码。

## 16. 论文主线建议

论文不能写成“我们把两个创新简单拼起来”。更合理的逻辑是：

1. 多视角流式重建需要一个能被多次查询、能接受新证据检查的场景状态。
2. 原始逆向 JEPA 观点提出用真实目标约束共同状态；我们用 typed state、固定测量和多上下文训练把它变成可检验实现。
3. 新观测到来后，同一个误差不一定对应同一个有益更新；此前写入历史也可能改变动作价值。
4. 我们用更新前测量反馈、直接快权重写入和前缀策略选择视觉动作。
5. 通过固定/动态、一步/长期、反馈去除、自由/固定读出和外部方法对照，分离 A、B 与交互收益。

建议主图：

- 图 1：两组局部观察 → 同一共享状态 → 多个真实目标；接上新观测反馈 → 动作 → 快速权重。
- 图 2：跨上下文多 query 准确性、Dis/Err、coverage 和反例。
- 图 3：同一前缀下不同历史/动作对后续几何的影响。
- 图 4：OFF、固定写入、动态策略的质量—资源曲线。

建议主表：

- 表 1：外部方法在匹配输入条件下的最终质量、失败率和成本。
- 表 2：R-Fixed/R-Residual/R-Direct 等核心 A 对照。
- 表 3：B0-B6、D0-D1 的核心 B 对照。
- 表 4：$2\times3$ 联合矩阵和交互量。

最小可成立版本：

- A：新场景上共享状态能回答多个 query，状态依赖真实上下文，并有充分训练自由读出对照。
- B：同一载体上的前缀动态策略超过强固定策略；若声称长期控制，还要超过同输入一步策略。
- 整体：在明确输入、测试场景和总预算下有实际意义收益，且增益不能全部归因于新载体、额外标签或更多计算。

若 A 成立而 B 不成立，论文只能写真实目标共享状态。若 B 成立而 A 与成熟重建没有清楚差异，A 只能作为 B 的载体，不能硬凑两项原创。若两项各自成立但交互接近零，可以诚实报告互补贡献。

## 17. 给合作者的决策问题

建议合作者先围绕以下问题达成共识：

1. 是否接受“已知相机、静态室内、RGB 在线适应”的首版边界？
2. 是否同意先在 Hypersim 做 A 和写入可达性，而不是直接上复杂策略？
3. 是否同意把 TTT3R、MeMix、ReCal3R 作为动态更新近邻，而不把“动态”一词本身视作新颖性？
4. 是否能提供或申请 ScanNet/ScanNet++ 访问，并承担相应存储和预处理？
5. 是否接受严格的 RGB+D 主线和 RGB-only 诊断分轨？
6. 哪些指标和预算范围被视为“有意义改善”，并在测试前冻结？
7. 如果阶段 1 的 R-Fixed 没有超过强自由读出，是否同意收缩 A 的论文主张？

## 18. 来源、当前证据级别和术语

### 18.1 用户与项目材料

- 原始逆向 JEPA 设想：<codex-root>/.codex/visualizations/2026/09/14/01a0a0c9-b460-7010-91df-8319a1b9aeae/inverse_jepa_original_screenshot.png
- ICLR 初稿：research/source/ICLR2026_Zonghan.pdf
- CV 技术方案：D:/My Documents/Kenny/My Documents/cv/CV_动态TTT与可测量场景状态_完整方案_2026-09-17.md
- 当前 CV 实现：D:/code/codepy/measurement_scene_state

以上材料支持项目设计、原始思路和 ICLR 初稿的内容边界，不等于新联合方法已实现或验证。

### 18.2 已核对的外部方法与页面

- tttLRM 官方 CVPR 页面：https://openaccess.thecvf.com/content/CVPR2026/html/Wang_tttLRM_Test-Time_Training_for_Long_Context_and_Autoregressive_3D_Reconstruction_CVPR_2026_paper.html
- tttLRM 代码与 benchmark：https://github.com/cwchenwang/tttLRM
- ZipMap 代码：https://github.com/Haian-Jin/ZipMap
- ZipMap 官方页面：https://haian-jin.github.io/ZipMap/
- TTT3R 页面与代码：https://rover-xingyu.github.io/TTT3R/ ，https://github.com/Inception3D/TTT3R
- MeMix 页面与代码：https://dongjiacheng06.github.io/MeMix/ ，https://github.com/dongjiacheng06/MeMix
- ReCal3R 代码：https://github.com/Powertony102/ReCal3R
- Point3R：https://arxiv.org/abs/2507.02863
- LONG3R：https://arxiv.org/abs/2507.18255
- MVSplat：https://arxiv.org/abs/2403.14627

外部方法的“近邻”判断来自公开摘要、项目页和公开评测说明；正式实验前仍需逐篇核对版本、训练数据、输入条件、指标和许可证。

### 18.3 术语说明

- **共享场景状态**：同一个状态可以回答多个规定 query；不等于真实世界状态唯一。
- **真实目标约束**：监督目标来自真实 RGB/深度等测量，不等于所有部署阶段都能看到真实标签。
- **动态 TTT**：根据当前状态和已见证据选择写入动作/轨迹；不等于所有测试时更新都自动具有新颖性。
- **前缀可部署**：动作只依赖执行到当前时刻已经可见的信息。
- **固定测量**：不含可训练参数的预先规定读出程序；它提供语义约束，不自动保证物理正确。
- **oracle/teacher**：训练或诊断时利用未来/答案得到的分支收益参照；不能混入部署策略输入。
- **RGB-only**：本轨训练、策略选择和模型选择不使用深度标签；如果预训练或相机先验曾使用几何信息，必须披露。

## 最后一句

这个项目值得做，但真正需要证明的不是“两个名字放在一起很新”，而是：

> **一个能被真实测量检验的共享场景状态，是否能让模型在新证据到来时作出比固定更新更有用的学习决定。**

如果这个问题在严格输入和预算下得到稳定答案，两个核心才有机会组织成一篇有说服力的视觉方法论文；如果没有，方案也应根据证据收缩，而不是用命名掩盖差异。