逆向 JEPA 与动态 TTT：共享场景状态的学习、检验与修正

合作者完整讨论方案

工作英文题目：Learning and Revising Shared Scene States through Grounded Prediction and Dynamic Test-Time Writes

日期：2026-09-17
版本：合作者讨论稿 v1.0
项目：CV / Measurement Scene State
研究目标：形成具有明确机制增量、可部署性和可复现证据的视觉方法，面向 CVPR 级别的方法论文

文档状态：拟议研究方案，不是实验结果报告。
两个研究核心确定为“逆向 JEPA”和“动态 TTT”，但它们在当前视觉实现中的独立新颖性及联合收益均未完成验证。Hypersim、ScanNet、ScanNet++、DL3DV 等数据和若干公开评测代码已经存在；本轮没有复现外部方法，也没有运行新联合方法。本文用于和合作者讨论研究是否值得做、怎样做以及怎样判断失败。

1. 先看结论

1.1 我们准备做什么

给模型陆续提供同一个房间的照片，让它形成一份可以从不同角度检查的三维场景状态。新照片可能补充之前没看到的区域，也可能否定原来的理解。我们研究两件事：

1. 怎样学到一份由真实观测约束、能够复用的场景状态？ 这是逆向 JEPA 的研究核心。
2. 新证据到来后，怎样决定本次是否学习、更新哪个模块，以及如何形成有效的更新轨迹？ 这是动态 TTT 的研究核心。

任务先限定为：已知相机参数的静态室内场景，图像按照原始轨迹顺序到达，模型在线修正场景估计。这里的“动态”指学习动作随证据和状态变化，不要求房间中的物体运动。

1.2 当前最诚实的判断

推荐执行顺序是：数据与载体检查 → 静态共享状态 → 固定/变化写入 → 可部署策略 → 真实场景与外部比较。

1.3 合作者需要先同意的研究边界

• 第一版研究已标定相机的静态室内场景。
• 在线策略只能使用已经到达的 RGB、相机、当前状态和过去历史。
• 深度可以用于 RGB+D 主效用轨的离线监督和动作收益教师；不能进入测试时控制器输入。
• 永久留出的查询视角和标签，在状态封存前不能进入构建、策略或预算。
• 旧 V5 结果只作比较背景和开发线索，不当作新联合方法的结果。
• 任何“必然对齐”“不会坍塌”“自动恢复真实世界”的表述都不是当前可支持的结论。

2. 用人话解释方法

模型先看房间正面的几张照片，建立一个暂时的三维草图。它可能把一扇半开的门误认为墙。

逆向 JEPA要求这份草图能够接受现实检查：模型用同一个场景状态，预测从其他相机位置应该看到什么、深度应该是多少；训练时把预测与真实照片和真实深度比较。一个状态要解释多个视角，而不是每次遇到新问题都临时编一个互不相容的答案。

随后，一张侧面的照片到达，显示那里其实是一扇门。

动态 TTT先用旧草图预测这张新照片，然后看预测和实际照片的差异。策略根据误差、场景状态、以前怎样更新以及剩余计算预算，选择：

• 这一步不写入快速权重；
• 更新多视角融合位置；
• 更新三维补全位置；
• 两个位置都更新。

写入规则修改少量本场景临时权重，模型再从已有观测读出新的场景状态。最后用没有参与在线更新的视角检查：门的位置是否真的变得更合理，还是只让当前照片看起来更像。

这里有三点不能混淆：

• 策略选择的是模块级动作，不是直接收到“把这个体素从墙改成门”的几何指令。
• 首版误差用于选择动作，写入目标仍来自已见图像特征；误差不直接提供沿射线的几何修正向量。
• 光照、颜色、遮挡和几何错误都会产生图像残差，所以误差大不等于一定要改几何，也不保证每次写入都会改善结果。

离线训练学习一般建图能力、写入规则和动作策略；部署时只更新当前场景的临时权重，换场景后清空。

3. 思想来源和创新边界

3.1 原始逆向 JEPA 想法

“逆向 JEPA”是项目内部的工作简称，不是已有标准方法名，也不是要求预测器成为目标编码器的严格数学逆函数。

典型 JEPA 可简化为：

$$ x_C \xrightarrow{E} h_C \xrightarrow{P} \hat h_T, \qquad h_T=E_T(x_T). $$

上下文表示预测目标编码器产生的隐藏表示。原始想法把目标换成可以由真实世界直接检查的量：

$$ x_C \xrightarrow{E} h_C \xrightarrow{P} \hat y_T, \qquad \hat y_T \approx y_T^{\mathrm{real}}. $$

真正想问的是：不同局部观察受到共同真实目标约束时，能否形成共同、可复用的内部结构？

当前三维实现把这个问题具体化为：

局部图像 → 查询无关的显式三维状态 → 固定测量程序 → 多个真实目标。

固定渲染是实现部件，不是原始思想的全部。三维坐标、密度、颜色和相机几何是主动加入的结构先验。因此我们检验的是“显式共同状态是否有可验证的预测能力”，不是声称任意黑箱中间层都会自动发现同一组三维坐标。

有限视角可能对应多种几何解释，真实观测还会受遮挡、噪声和光照影响。所以以下说法必须删除或改成待检验假设：

• 不同路径必然对齐；
• 真实目标天然保证不坍塌；
• 同一场景的内部表示必然唯一；
• 预测照片好就等于几何一定正确。

3.2 ICLR 初稿给 CV 方案提供什么

初稿 Beyond Static Writes: Trajectory and State Diagnostics for In-Place Test-Time Training 提供了：

• 多个候选位置上的直接快速权重写入；
• 恒定动作与变化动作轨迹的比较；
• 冻结目标投影、带符号通道 gate 和范数裁剪；
• 对历史状态、内容配对、执行路径和数值精度的诊断思路。

初稿主要用最终答案评价候选轨迹。它没有直接提供视觉任务中的 answer-free controller。因此 CV 方案新增的部分是：

1. 用固定测量得到更新前观测误差；
2. 把动作映射到视觉载体的两个实际可写位置；
3. 训练只看前缀信息的动作策略；
4. 在留出视角和共同资源预算下验证在线收益。

不能把 ICLR 初稿中已有的轨迹诊断原样算成 CV 新发现，也不能把初稿中的搜索赢家称为已经可部署的在线策略。

3.3 两个候选贡献的准确说法

候选贡献 A：真实目标约束的共享场景状态学习。
从不同局部上下文形成与查询无关的 typed scene state，通过同一测量程序解释多个真实目标，并用跨上下文、留出测量和充分训练读出对照检验这种状态是否具有实际价值。

候选贡献 B：测量反馈驱动的动态测试时写入。
在固定视觉载体和直接写入规则下，根据当前可见误差、场景状态、历史和预算预测不同写入动作的后续收益，选择前缀可部署的更新轨迹。

这两条是候选研究贡献，不是完成新颖性核验和实验后可以直接写进摘要的最终结论。

3.4 审查发现的主要风险

4. 任务、数据和信息契约

4.1 首版任务

输入为同一静态场景中按原始轨迹顺序到达的图像和相机：

$$ o_t=(I_t,C_t),\qquad C_t=(K_t,T_t). $$

$I_t$ 是 RGB，$K_t$ 是内参，$T_t$ 是位姿。相机由数据集提供；当前方案不研究在线相机估计。因此论文应称为“已标定相机条件下的流式多视角重建/适应”，不能把它描述成完整在线 SLAM。

建议 pilot 从 4 张预热图像、8 张后续图像和若干独立留出查询视角开始。这个长度只是开发起点，必须先核验原始帧 ID、视角变化和有效相机轨迹，不能复制已有帧伪造长序列。

4.2 三种对象

$$ B_t={I_i,C_i,F_\theta(I_i):i\le t}, \qquad W_t=W^{(0)}+\Delta W_t, \qquad S_t=D_\theta(B_t,W_t;\Omega). $$

首版不再创造一套和 $B_t,W_t$ 并列的递推场景记忆。替换快速权重后必须重新读取 $S_t$，避免使用与权重不匹配的旧状态。

4.3 训练、部署和评估的可见信息

刚到达的 RGB 可以检验旧状态，但若将该帧作为“未更新预测”的成绩，只能使用更新前输出。更新后拟合当前帧另报。

训练、开发和测试按 scene 划分。同一地点的重复扫描不应跨划分。已经被反复用于调参的场景不能重新称为未触碰测试场景。

4.4 两个独立上下文

核心 A 的每个单元包含同场景的两个上下文子集。默认两组等量，仅共享一个坐标 anchor，其余图像不重叠。两组分别构建缓存、状态和快速权重，再用相同的多个留出 query 评价。

共同 query 从两条完整上下文的观测并集中排除。不能先融合全量图片，再在输出端遮挡来伪装独立上下文。共同支持不足时，应报告覆盖，不强迫不可见区域一致。

5. 视觉载体与共享状态

5.1 载体结构

flowchart LR
    O["已见 RGB 与相机"] --> E["冻结图像特征和三维候选位置"]
    E --> F["多视角融合，含可写位置 L_fuse"]
    F --> C["空间处理和三维补全，含可写位置 L_complete"]
    C --> S["统一密度/颜色场景状态"]
    S --> M["固定测量程序"]
    M --> Y["RGB、深度、法线、点和可见性"]
    Q["查询相机"] --> M

两个可写位置必须是实际存在的通道 MLP 下投影或 pointwise 线性矩阵。不能把已有 3×3 卷积核直接称为下投影；若未来更新卷积核，需要重新定义矩阵、展开张量和预算。

部署时冻结图像编码器、其他网络参数、初始权重、写入投影、gate 和策略。离线训练阶段可以学习这些组件。

5.2 显式场景状态

$$ S_t=(z_t(\mathbf x),c_t(\mathbf x),\Omega), \qquad \sigma_t(\mathbf x)=\operatorname{softplus}(z_t(\mathbf x)). $$

$z$ 是 density logits，$c$ 是 RGB 颜色，$\Omega$ 是预先规定的米制空间范围。范围和候选位置不能由测试目标几何反推。

沿射线 $\mathbf x_i=\mathbf o+d_i\mathbf r$：

$$ \alpha_i=1-\exp(-\sigma_i\delta_i),\qquad T_i=\prod_{j<i}(1-\alpha_j),\qquad w_i=T_i\alpha_i. $$

$$ \hat I=\sum_i w_i c_i+\left(1-\sum_iw_i\right)c_{\mathrm{bg}}, \qquad \hat V=\sum_iw_i,\qquad \hat D=\sum_iw_i d_i. $$

深度保留当前方案的定义：未按不透明度归一化的射线距离加权和，不是相机 z-depth。点由 $\mathbf o+\hat D\mathbf r$ 得到，法线按密度梯度读出。所有主表同时报告 opacity、有效像素和 coverage，防止透明度变化被误解为深度改善。

5.3 旧 V5 读出约束

旧 V5 形式为：

$$ z=4c-2+(1-0.9c)r,\qquad r\in[-4,4]. $$

这里的 $c$ 是旧外观 confidence，不是上面的颜色。当 $c=1$ 时 $z\in[1.6,2.4]$，高外观一致位置难以被改为空间。

新载体应允许 density logits 充分正负修正。这是载体修正，不是动态 TTT 的增量；它必须同时存在于 OFF、固定写入和动态写入组。旧 V5 保留为可恢复比较点。

5.4 核心 A 的功能定义

对上下文分支 $b\in{1,2}$：

$$ S^{(b)}=D_\theta(B^{(b)},W^{(b)}),\qquad \hat y_{q,b}^{m}=\mathcal M_m(S^{(b)},C_q). $$

一次形成并封存的状态需要回答多个 query。查询相机只进入测量程序，真实目标只进入训练损失或封存后的评分。主输出不能由单独的 query-conditioned 图像头绕开场景状态。

两状态在有限 query 上产生相近测量，最多说明规定查询族上的功能等价，不推出隐藏向量相等或状态唯一。首版不加入全体素硬对齐损失；不同上下文对不可见区域的差异可能是合理的。

6. 动态 TTT 与直接写入

6.1 动作集合

$$ \mathcal A={\mathrm{OFF},L_{\mathrm{fuse}},L_{\mathrm{complete}},\mathrm{ALL}}. $$

不能预先声称 fuse 就是纠错、complete 就是补全；它们的作用必须由实际路径和消融确认。

6.2 写入目标

对固定三维候选位置，投影到已经到达的图像并采样冻结特征 $f_{k,i}$。有效性 $s_{k,i}$ 只由有限值、相机前方和图像边界等确定性条件产生：

$$ n_{t,i}=\sum_{k\le t}s_{k,i},\qquad \mu_{t,i}=\frac{\sum_{k\le t}s_{k,i}f_{k,i}}{\max(n_{t,i},1)}, $$

$$ \nu_{t,i}= \frac{\sum_{k\le t}s_{k,i}(f_{k,i}-\mu_{t,i})^{\odot2}} {\max(n_{t,i},1)}, \qquad h_{\ell,t,i}=Q_\ell([\mu_{t,i},\nu_{t,i},n_{t,i},\xi_{t,i}]). $$

$\xi$ 包含已知坐标和观察方向，$Q_\ell$ 离线学习、部署冻结。首版要求至少两个有效视图支持一个候选写入。这个条件是多视图支持，不是表面真值。

候选位置和采样 pack 固定。预测 density/visibility 不能永久阻止困难位置被写入，否则错误状态可能屏蔽修正所需的证据。均值/方差也不等于正确几何。

6.3 直接外积更新

对位置 $\ell$：

$$ W_\ell\in\mathbb R^{d_\ell\times m_\ell},\qquad u_{\ell,t,i}\in\mathbb R^{m_\ell},\qquad h_{\ell,t,i},g_\ell\in\mathbb R^{d_\ell},\qquad P_\ell\in\mathbb R^{d_\ell\times d_\ell}. $$

$u$ 是当前位置的激活，$g$ 是带符号通道向量：

$$ v_{\ell,t,i}=P_\ell^\top(g_\ell\odot h_{\ell,t,i}), $$

$$ \delta W_{\ell,t}= \operatorname{clip}{F,\epsilon\ell} \left( \eta_\ell\sum_{i\in\mathcal P_t} q_{t,i}v_{\ell,t,i}u_{\ell,t,i}^{\top} \right), $$

$$ W_{\ell,t}=W_{\ell,t-1}+m_\ell(a_t)\delta W_{\ell,t}. $$

$m_\ell$ 是动作掩码，$q$ 是确定性的支持/去重权重，$\mathcal P_t$ 是固定大小的采样包。部署时没有 inner-loss backward、Adam 或 ridge solve；部署只执行冻结写入规则。

裁剪限制单次建议增量的 Frobenius 范数，但不保证长期累计偏移稳定，也不保证任务损失单调下降。学习率、裁剪和 token pack 尺度需用视觉开发集选择。

6.4 同步提交和顺序诊断

同一步先用旧权重 $W_{t-1}$ 计算所需候选，再同步提交选中位置，最后用 $W_t$ 独立读取场景。ALL 中的补全增量不能读取同一步刚提交的融合增量。

如果做“先融合后补全”和“先补全后融合”的顺序诊断，它指两个连续步骤：

$$ \delta W_c^{(2)}(W_f+\delta W_f^{(1)}) -\delta W_c^{(2)}(W_f) \approx \frac{\partial\delta W_c^{(2)}}{\partial W_f}\delta W_f^{(1)}. $$

这里上标表示第 1、2 个诊断步骤，不表示 ALL 内部顺序。固定特征上的增量可以交换，外积本身不保证顺序一定有效。

必须区分三件事：顺序改变数值、顺序改变预测、顺序形成可预测且有益的任务差异。只有第三件事支持轨迹控制价值。

7. 测量反馈与在线策略

7.1 更新前反馈

模型先用旧状态预测新相机：

$$ \hat I_t^-=\mathcal M_{\mathrm{RGB}}(S_{t-1},C_t), $$

$$ e_t= \left[ I_t-\hat I_t^-, F_\theta(I_t)-F_\theta(\hat I_t^-) \right]. $$

此时 $S_{t-1}$ 尚未吸收 $I_t$。策略可看当前 RGB 和相机，但不能看未来图像或留出目标。

首版 $e_t$ 只进入策略，不直接进入 $v_{\ell,t,i}$。直接把残差变成沿射线的几何写入目标属于后续版本，因为遮挡和颜色/几何归因尚未解决。

7.2 策略输入输出

策略输入包括低分辨率误差图或分区摘要、当前图像特征、状态和 coverage 统计、视角变化、快速权重统计、上一步动作以及剩余预算。轻量编码器和 MLP 输出各动作的收益分值：

$$ z_t=\Phi(e_t,\operatorname{stats}(S_{t-1}),\operatorname{stats}(\Delta W_{t-1}),B_{t-1},C_t,r_{t-1},b_t), $$

$$ a_t=\arg\max_{a\in\mathcal A(b_t)}Q_\psi(z_t,a;h). $$

$h$ 是收益覆盖的未来时间范围，$b_t$ 是预算。首版不增加独立循环策略记忆，历史主要由快速权重和确定性摘要承载。

预测 opacity 可作提示，但必须保留原始误差和有效像素计数。未经校准的 uncertainty 不作为主控制信号。

7.3 在线伪代码

输入：冻结载体、冻结写入规则、冻结策略、固定相机/范围协议、总预算

B <- 预热图像及冻结特征
DeltaW <- 0
S <- read_scene(B, W0 + DeltaW)
history <- 空摘要

for 每个新到达的 (I_t, C_t):
    预留当前观测、未来观测和最终查询的必需成本
    prediction_pre <- render(S, C_t)
    feedback <- compare(I_t, prediction_pre)
    a <- policy(feedback, S, DeltaW, history, feasible_budget)
    B_new <- append_observation(B, I_t, C_t)

    if a != OFF:
        trace <- read_write_features(B_new, W0 + DeltaW)
        proposals <- direct_write(trace, observed_feature_targets(B_new))
        DeltaW <- commit_simultaneously(DeltaW, proposals, a)

    B <- B_new
    S <- read_scene(B, W0 + DeltaW)
    更新 history、实际调用账本、耗时和峰值内存

seal(S, DeltaW, observation_ids, execution_config)
独立评估器读取留出 query 相机和标签，评价封存状态

查询只能读，不得改写 $B,W,S$ 或任何适应状态。最后一步写入后必须显式重新读取场景，不能因为少一次 read 而使最后动作没有作用。

7.4 预算和复杂度

每步成本至少包括：

$$ C_t=C_{\mathrm{encode}}+C_{\mathrm{feedback}}+C_{\mathrm{policy}} +C_{\mathrm{write_features}}+C_{\mathrm{outer_product}} +C_{\mathrm{materialize}}. $$

若每一步都重读完整前缀，完整序列总成本可能达到 $O(T^2)$。快速权重大小固定，不等于整个系统常数内存或线性时间。增量统计、关键帧缓存和压缩缓存应在机制成立后单独研究。

用固定算子、张量尺寸和调用数定义硬预算，并另报 wall-clock latency、峰值显存和能耗。若已知总 episode 长度，动作可行性为：

$$ \mathcal A(b_t)={a:b_t\ge m_t+c_t(a)+R_{t+1}}, \qquad b_{t+1}=b_t-m_t-c_t(a_t). $$

$m_t$ 是本步必须工作的成本，$c_t(a)$ 是动作额外成本，$R_{t+1}$ 是未来必需成本。不能跳过困难帧来保持预算可行。

8. 离线训练和动作教师

8.1 阶段 A：训练共享状态

两组上下文独立构建状态并预测相同的真实目标：

$$ \mathcal L_A= \frac{1}{2|\mathcal Q|} \sum_{b=1}^{2}\sum_{q\in\mathcal Q} \sum_{m\in\mathcal H_{\mathrm{train}}} \lambda_m\ell_m\left(\mathcal M_m(S^{(b)},C_q),y_q^m\right). $$

主效用轨使用 RGB 和 depth。先充分训练 OFF 版本，再检查多 query 预测、跨上下文正确性和读出对照。不能直接从联合总分推断 A 已成立。

共同目标配对本身不是新损失。如果两组边际采样相同，上式的可加平均可能与独立采样有相同期望目标。配对的价值在交叉诊断和方差控制，方法增量必须来自明确结构/训练约束。

8.2 阶段 B：加入直接写入

加入两个真实可写矩阵、轨迹私有偏移和同步提交，使用短序列展开训练。训练动作覆盖 OFF、固定位置、ALL 及与标签独立的变化轨迹。

各分支使用自己的缓存和快速权重。不同结构匹配相同的 context-query-ray-modality 清单、标签重复次数、状态构建次数、训练步数和开发预算。训练结束后冻结载体 checkpoint。

8.3 阶段 C：生成动作收益标签

不需要人工逐帧标注“此时应该选哪个动作”。在训练场景前缀上分支执行各动作，用相同未来观测和规定的续接策略计算后续几何收益。

令 $t$ 为当前写入完成的时刻：

$$ \mathcal U_{t,h}={t,\ldots,\min(t+h-1,T)}, $$

$$ L_{t,h}(a)=\frac{1}{|\mathcal U_{t,h}|} \sum_{u\in\mathcal U_{t,h}}\mathcal L_D(S_u^{(a)}), \qquad A_{t,h}(a)=\overline L_{t,h}-L_{t,h}(a). $$

$\mathcal L_D$ 使用预先固定 query 上的深度 AbsRel。$h=1$ 是一步收益，较大 $h$ 是长期收益。所有分支共享 query、真值 mask 和评分权重；不能因某分支失败就删除困难元素。

收益标签是“规定未来和续接条件下的分支收益”，不是全局最优价值。有限轨迹搜索也是已评估候选的下界，不能称严格 oracle 上界。

8.4 阶段 D：训练前缀策略

用收益回归或动作排序训练 $Q_\psi$，保留近似并列动作。未来图像和深度只进入监督端，不进入策略输入。

同一前缀可能通向不同未来，因而离线最佳动作可能互相冲突。策略学习训练分布下的条件期望，不能保证复现知道未来的教师。

训练后在训练场景收集策略自己访问的前缀并补充收益标签，减少只在教师轨迹上训练造成的分布偏移。最终测试前冻结载体、策略、超参数、预算和评价程序。

8.5 RGB+D 主线和 RGB-only 诊断

RGB-only 轨不能继承深度训练 checkpoint、按 depth 选出的停止步数或深度收益教师。采样、有效 mask、场景筛选和范围选择也不能暗用深度。必须登记图像编码器预训练和相机标定中的几何先验。

9. 实验矩阵：怎样把收益归因清楚

9.1 同一载体的动态比较

B3、B4、B5、B6 要保持策略容量、输入尺寸和成本定义一致。D0、D1 只作离线诊断，不能混入部署排名。

9.2 核心 A 的静态读出比较

先关闭测试时写入，使用同一训练清单：

R-Residual 的参数、训练和推理成本必须计入；不能故意削弱自由读出来制造固定测量的优势。R-Latent 若下游用深度校准，必须说明“未使用真实目标”只适用于哪个阶段。

9.3 两核心联合矩阵

完整逆向 JEPA 是研究思想，不能通过一个简单开关完全去掉。首版用两种读出设计和三种写入策略组成 $2\times3$：

每一行单独训练并冻结载体 checkpoint；同一行三列只改变部署写入策略。两行使用相同状态 schema、动作位置、策略字段、输入帧、监督来源和开发预算。R-Residual 额外读出头的成本保留，不能声称两行总容量相同。

令 $L_{G,F},L_{G,D},L_{R,F},L_{R,D}$ 为同预算的 scene-macro AbsRel：

$$ \delta_G=L_{G,F}-L_{G,D},\qquad \delta_R=L_{R,F}-L_{R,D}, $$

$$ \Delta_{\mathrm{int}}=\delta_G-\delta_R. $$

分别报告 OFF 下表示差异、固定写入增量、动态相对固定增量和交互区间。两个核心可以各自有用而交互接近零，不强求超加性。只有反馈消融、绝对性能、失败率和成本都支持时，才提高“二者特别适配”的主张。

9.4 历史作用和动作价值

固定观测包上比较 fuse→complete 与 complete→fuse，分离顺序效应。自然前缀上构造两种历史，后接相同观测和相同动作。

令 $J$ 为越大越好的共同终点：

$$ \Gamma= \left[J(W^A,a)-J(W^A,b)\right] -\left[J(W^B,a)-J(W^B,b)\right]. $$

$\Gamma$ 检查规定条件下历史是否改变后续动作的相对收益，但不是整个系统的完整因果分解。策略干预时必须同步重算与新状态一致的反馈和历史摘要，不能只换权重而继续使用旧摘要。

9.5 反馈是否真的指向几何收益

在训练/开发场景的相同前缀和候选动作上，同时记录：

• 当前 RGB 代理变化；
• 留出 RGB 变化；
• 后续深度变化；
• 后续法线或点图变化；
• action rank 与真实收益 rank 的相关性；
• 分支 regret 和 search-to-policy gap。

如果残差只能预测颜色改善，主张应收缩为 RGB 引导的适应。只有未见场景的后续几何也改善，才能支持几何控制贡献。

10. 数据集：够不够、怎么用

10.1 Hypersim：第一阶段首选

官方说明：Hypersim 是逼真的合成室内场景数据集，包含数百个场景、公开 RGB 图像、完整相机轨迹、深度、法线和其他像素级标注，并提供按 scene 划分的训练/验证/测试列表。

适合我们的原因：

• 深度和相机参数完整，便于训练收益教师和做严格留出；
• 可以从同一场景轨迹切出预热、流式观测和查询；
• 合成环境便于控制视角、遮挡、纹理和反例；
• 适合作为第一轮机制验证，不受真实传感器噪声干扰。

现实成本：官方完整数据约 1.9 TB，ZIP 文件分散在多个包中。第一轮不需要完整下载，应按固定 scene 清单下载子集。注意 Hypersim 的 depth_meters 是到相机光心的欧氏距离，不是相机 z-depth；相机位置用 asset coordinates 保存，需要按每个 scene 的 scale factor 转换。不能在这里混用距离定义。

官方链接：

• 项目与下载说明：https://github.com/apple/ml-hypersim
• 许可证：CC BY-SA 3.0，具体使用仍以官方条款为准。

10.2 ScanNet：真实室内流式验证

ScanNet 是真实 RGB-D 视频数据集，包含约 1500 个扫描序列、每帧颜色和深度、相机位姿、表面重建和语义标注。它很适合检验真实噪声、深度缺失、轨迹误差和长序列稳定性。

获取需要填写官方使用协议并按机构邮箱申请。它的 .sens 格式需要使用官方工具解析；深度对齐、内参和位姿处理必须版本化记录。

官方链接：

• 项目与 Terms of Use：https://github.com/ScanNet/ScanNet

10.3 ScanNet++：高质量 NVS 外部验证

ScanNet++ 提供高精度激光扫描、注册 DSLR 图像和 iPhone RGB-D 流，并提供 NVS benchmark。官方页面显示其 NVS 测试集包含 50 个场景，另有 12 场景 small set；指标为 PSNR、SSIM 和 LPIPS，提供公开验证脚本，测试集隐藏。

它适合在方法机制跑通后做高质量新视角合成验证，但访问需要注册/登录和下载 token。其 benchmark 主要评价最终渲染质量，不直接评价在线动作轨迹，因此要和我们的流式协议分开报告。

官方链接：

• 数据集：https://scannetpp.mlsg.cit.tum.de/scannetpp/
• NVS benchmark：https://scannetpp.mlsg.cit.tum.de/scannetpp/benchmark/nvs
• 论文：https://arxiv.org/abs/2308.11417

10.4 DL3DV-10K：更大规模 NVS 交叉验证

DL3DV-10K 是真实视频场景数据，提供图像和相机参数；其项目页提供 140 场景 NVS benchmark，另有不同分辨率的大规模数据和 Hugging Face 下载方式。

它适合测试跨场景和更复杂的真实采集条件，也被 tttLRM 等工作用于 NVS/三维重建评估。但访问和磁盘成本高，条款需要单独核实；不建议作为第一轮机制载体。

官方链接：

• 数据集与 benchmark：https://github.com/DL3DV-10K/Dataset
• benchmark 数据：https://huggingface.co/datasets/DL3DV/DL3DV-Benchmark

10.5 数据使用决策

同一批数据可支撑两个核心，但必须把静态 context/query 实验和原始顺序流式 episode 分成不同 manifest。不能用一套随意随机窗口同时声称表示泛化和流式控制。

11. 竞争论文和现成 benchmark

11.1 需要正面对比的直接近邻

这些工作的公开摘要/项目页支持“方法接近”的判断；正式论文表格、输入模态、训练数据和指标仍需在冻结实验清单前逐篇核实。不能仅凭摘要推断它们没有某个具体动作策略。

11.2 其他必要基线

• 直接优化的 density/color，使用相同观察、相同计算预算和相同重放规则。
• 充分训练的 query-conditioned learned decoder。
• 传统或学习型多视角重建方法，如 MVSplat、pixelNeRF/GRF 类方法，作为核心 A 的表示背景。
• CUT3R/DUSt3R/VGGT/Spann3R 生态中的公开流式或点图基线，按其原生任务分别报告。
• 固定时间表、随机策略和状态感知一步贪心策略。
• 离线有限搜索轨迹，只作为机会诊断和 teacher 参照。

如果外部方法的相机条件、观察数量、预训练数据或输出形式不同，单独分组并写清差异，不能将不同任务的分数拼成一张伪公平排行榜。

11.3 现成 benchmark 能回答什么

TTT3R 和 MeMix 的公开代码都沿用 MonST3R/Spann3R 一类数据预处理和评测脚本；ZipMap 的评测代码基于统一 reconstruction evaluation 框架。它们可作为工程起点，但我们仍需自己实现动作、预算和信息隔离。

12. 评价指标和统计

12.1 主终点

推荐主终点：完整 episode 结束后，固定留出查询视角的 scene-macro depth AbsRel：

$$ E_{s,e,q}= \frac{1}{|M_{s,e,q}|} \sum_{p\in M_{s,e,q}} \frac{|\hat D_{s,e,q}(p)-D^_{s,e,q}(p)|} {D^_{s,e,q}(p)}. $$

先在 scene 内平均 query 和 episode，再对 scene 等权平均。不能将同一 scene 的多个窗口当作独立统计样本。

12.2 共同上下文诊断

在固定共同支持 $M_q^{\cap}$ 上报告两组状态的深度差异：

$$ \operatorname{Dis}q= \frac{1}{|M_q^{\cap}|} \sum{p\in M_q^{\cap}} \frac{|\hat D_{q,1}(p)-\hat D_{q,2}(p)|}{D_q^*(p)}. $$

同时报告共同支持上的真实误差：

$$ \operatorname{Err}q^{\cap}= \frac{1}{2|M_q^{\cap}|} \sum{b=1}^2\sum_{p\in M_q^{\cap}} \frac{|\hat D_{q,b}(p)-D_q^(p)|}{D_q^(p)}. $$

小 Dis 只有伴随低真实误差、输入依赖和合理 coverage 时，才支持功能一致性。单独一致但共同错误不能作为 A 的成功证据。

12.3 动态策略指标

• 完整 episode 留出深度 AbsRel；
• 每一步更新前和更新后 RGB/深度误差；
• 固定策略到动态策略的配对差值；
• branch regret；
• search-to-policy gap；
• 动作排序与真实分支收益的相关性；
• 失败率、负迁移比例和动作切换次数；
• 编码、反馈、策略、写入、materialization 的实际耗时和峰值显存；
• 质量—资源曲线，而不是只报固定写入次数。

正式测试前冻结场景、随机种子、query、ray、mask、预算和主要比较。区间跨过预先规定的有意义改善边界时判为不确定，不能把未显著当作等效。

13. 失败条件和主张收缩规则

这些不是预先否定方案，而是防止结果出来后只挑支持叙事的部分。

14. 实施阶段和交付物

阶段 0：锁定数据和比较起点

• 固定 scene split、相机轨迹、预热/流式/query 角色、坐标尺度和深度语义。
• 生成两组 context、共享 anchor、query-ray 清单和标签访问账本。
• 保留 V5 代码、checkpoint 和负结果；新方案使用独立配置和输出名。
• 完成 R0 几何能力诊断，区分状态/渲染容量问题和 RGB 几何学习问题。

交付：dataset manifest、信息边界表、载体接口、预算表和静态能力报告。

阶段 1：先检验核心 A

• OFF 条件下训练多上下文、多 query 真实目标预测。
• 比较 R-Fixed、充分训练 R-Residual、R-Direct 和必要的 R-Latent。
• 做 anchor-only、跨场景替换、独立视角增加、密度/颜色干预和共同支持诊断。
• 单独建立 RGB-only 轨并登记所有预训练/几何先验。

交付：核心 A 的静态证据包、checkpoint、失败分解和标签来源。

阶段 2：直接写入和轨迹诊断

• 加入两个实际可写位置、轨迹私有偏移、同步提交和独立 post-write read。
• 比较 OFF、固定 fuse/complete/ALL 和简单 schedule。
• 做固定观测包顺序、自然前缀续接、历史替换和重复/矛盾观测测试。
• 记录动作是否真的改变两个位置、状态和留出几何。

交付：固定写入增量、轨迹机会、历史作用、成本账单。

阶段 3：训练和验证策略

• 在训练场景生成一步/长期收益分支标签。
• 训练 B3-B6，收集策略自己访问的训练前缀并补标。
• 在 R-Fixed 和 R-Residual 两行分别训练容量匹配的策略。
• 冻结模型后运行完整 $2\times3$ 矩阵和最强固定策略。

交付：核心 B 和联合证据、反馈/长期消融、search-to-policy gap、质量—资源曲线。

阶段 4：外部验证

• 先在 Hypersim 证明机制，再选满足协议的 ScanNet 子集。
• 之后接 ScanNet++ NVS 或 DL3DV-140，至少复核关键 signature。
• 检查短/长序列、重访、纹理、遮挡和跨上下文条件。
• 按真实证据分别决定 A、B 和交互能写到什么程度。

交付：外部验证结果、失败案例、可复现实验配置和论文证据表。

15. 建议的代码模块边界

实现时先确认当前源码接口，再生成文件级实施计划；本文不把拟议模块写成已经存在的源码。

16. 论文主线建议

论文不能写成“我们把两个创新简单拼起来”。更合理的逻辑是：

1. 多视角流式重建需要一个能被多次查询、能接受新证据检查的场景状态。
2. 原始逆向 JEPA 观点提出用真实目标约束共同状态；我们用 typed state、固定测量和多上下文训练把它变成可检验实现。
3. 新观测到来后，同一个误差不一定对应同一个有益更新；此前写入历史也可能改变动作价值。
4. 我们用更新前测量反馈、直接快权重写入和前缀策略选择视觉动作。
5. 通过固定/动态、一步/长期、反馈去除、自由/固定读出和外部方法对照，分离 A、B 与交互收益。

建议主图：

• 图 1：两组局部观察 → 同一共享状态 → 多个真实目标；接上新观测反馈 → 动作 → 快速权重。
• 图 2：跨上下文多 query 准确性、Dis/Err、coverage 和反例。
• 图 3：同一前缀下不同历史/动作对后续几何的影响。
• 图 4：OFF、固定写入、动态策略的质量—资源曲线。

建议主表：

• 表 1：外部方法在匹配输入条件下的最终质量、失败率和成本。
• 表 2：R-Fixed/R-Residual/R-Direct 等核心 A 对照。
• 表 3：B0-B6、D0-D1 的核心 B 对照。
• 表 4：$2\times3$ 联合矩阵和交互量。

最小可成立版本：

• A：新场景上共享状态能回答多个 query，状态依赖真实上下文，并有充分训练自由读出对照。
• B：同一载体上的前缀动态策略超过强固定策略；若声称长期控制，还要超过同输入一步策略。
• 整体：在明确输入、测试场景和总预算下有实际意义收益，且增益不能全部归因于新载体、额外标签或更多计算。

若 A 成立而 B 不成立，论文只能写真实目标共享状态。若 B 成立而 A 与成熟重建没有清楚差异，A 只能作为 B 的载体，不能硬凑两项原创。若两项各自成立但交互接近零，可以诚实报告互补贡献。

17. 给合作者的决策问题

建议合作者先围绕以下问题达成共识：

1. 是否接受“已知相机、静态室内、RGB 在线适应”的首版边界？
2. 是否同意先在 Hypersim 做 A 和写入可达性，而不是直接上复杂策略？
3. 是否同意把 TTT3R、MeMix、ReCal3R 作为动态更新近邻，而不把“动态”一词本身视作新颖性？
4. 是否能提供或申请 ScanNet/ScanNet++ 访问，并承担相应存储和预处理？
5. 是否接受严格的 RGB+D 主线和 RGB-only 诊断分轨？
6. 哪些指标和预算范围被视为“有意义改善”，并在测试前冻结？
7. 如果阶段 1 的 R-Fixed 没有超过强自由读出，是否同意收缩 A 的论文主张？

18. 来源、当前证据级别和术语

18.1 用户与项目材料

• 原始逆向 JEPA 设想：/.codex/visualizations/2026/09/14/01a0a0c9-b460-7010-91df-8319a1b9aeae/inverse_jepa_original_screenshot.png
• ICLR 初稿：research/source/ICLR2026_Zonghan.pdf
• CV 技术方案：D:/My Documents/Kenny/My Documents/cv/CV_动态TTT与可测量场景状态_完整方案_2026-09-17.md
• 当前 CV 实现：D:/code/codepy/measurement_scene_state

以上材料支持项目设计、原始思路和 ICLR 初稿的内容边界，不等于新联合方法已实现或验证。

18.2 已核对的外部方法与页面

• tttLRM 官方 CVPR 页面：https://openaccess.thecvf.com/content/CVPR2026/html/Wang_tttLRM_Test-Time_Training_for_Long_Context_and_Autoregressive_3D_Reconstruction_CVPR_2026_paper.html
• tttLRM 代码与 benchmark：https://github.com/cwchenwang/tttLRM
• ZipMap 代码：https://github.com/Haian-Jin/ZipMap
• ZipMap 官方页面：https://haian-jin.github.io/ZipMap/
• TTT3R 页面与代码：https://rover-xingyu.github.io/TTT3R/ ，https://github.com/Inception3D/TTT3R
• MeMix 页面与代码：https://dongjiacheng06.github.io/MeMix/ ，https://github.com/dongjiacheng06/MeMix
• ReCal3R 代码：https://github.com/Powertony102/ReCal3R
• Point3R：https://arxiv.org/abs/2507.02863
• LONG3R：https://arxiv.org/abs/2507.18255
• MVSplat：https://arxiv.org/abs/2403.14627

外部方法的“近邻”判断来自公开摘要、项目页和公开评测说明；正式实验前仍需逐篇核对版本、训练数据、输入条件、指标和许可证。

18.3 术语说明

• 共享场景状态：同一个状态可以回答多个规定 query；不等于真实世界状态唯一。
• 真实目标约束：监督目标来自真实 RGB/深度等测量，不等于所有部署阶段都能看到真实标签。
• 动态 TTT：根据当前状态和已见证据选择写入动作/轨迹；不等于所有测试时更新都自动具有新颖性。
• 前缀可部署：动作只依赖执行到当前时刻已经可见的信息。
• 固定测量：不含可训练参数的预先规定读出程序；它提供语义约束，不自动保证物理正确。
• oracle/teacher：训练或诊断时利用未来/答案得到的分支收益参照；不能混入部署策略输入。
• RGB-only：本轨训练、策略选择和模型选择不使用深度标签；如果预训练或相机先验曾使用几何信息，必须披露。

最后一句

这个项目值得做，但真正需要证明的不是“两个名字放在一起很新”，而是：

一个能被真实测量检验的共享场景状态，是否能让模型在新证据到来时作出比固定更新更有用的学习决定。

如果这个问题在严格输入和预算下得到稳定答案，两个核心才有机会组织成一篇有说服力的视觉方法论文；如果没有，方案也应根据证据收缩，而不是用命名掩盖差异。