EXP-3D-RGBD-DEPTHSPLAT-JEPA-CAP01-TTT-ARKIT-V1:在 TTT 的尺度上限下训练逆向 JEPA,能否改进 TTT
本文件即预注册。锁定时间与哈希见 preregistration.json。
1. 问题
EXP-3D-RGBD-DEPTHSPLAT-JEPA-BASE-TTT-ARKIT-V1(JBT)发现,以真实数据训练的逆向 JEPA(JA)为起点做 TTT,比以发布权重为起点更差。分析指向两个原因:
- 尺度上限: JA 在上限 3.0 下训练和使用。而对发布权重做 TTT 时,上限 0.1 本身就比 3.0 好(+0.022,70/0/10)。
- 起点质量: 训练把覆盖率推到了 0.97,但 7 帧前馈状态的误差也随之变大(0.266)。TTT 只有 100 步,修不回起点的差距。
本实验是在看到 JBT 与 EXP-3D-RGBD-DEPTHSPLAT-JEPA-ARKIT-OVERLAP-V1 的结果之后设计的,有动机来源,但预注册在本实验的任何训练与评估之前。它只改一处:训练改在 TTT 最好的尺度上限 0.1 下进行,其余沿用 OVERLAP-V1 的配方。
问题是:在同样的上限 0.1 下,逆向 JEPA 训练能否让 TTT 比发布权重更好?
2. 数据
- 训练: ARKit TRAIN 182 个扫描(EXP-3D-RGBD-ARKIT-DATA-V1),目标帧只取上下文命中比例 ≥ 0.05 的帧(OVERLAP-V1 的命中表)。
- 评估: ARKIT_VAL,80 个扫描、160 个 episode、320 个查询。episode 与 EXP-3D-RGBD-ENSEMBLES-ARKIT-V1 完全相同(
frame_role_lock.json逐字节复制):上下文 3 帧 + 流式帧 4 帧,查询为第 14、15 帧。 - 许可: 只用于非商业研究,媒体在 git 之外。
3. 状态构建器
所有构建器都使用 V1 锁定的 ds_eval.py:CACHE 为 7 帧一次性前馈;TTT_m1 为 100 步 Adam,m = 1。
| 名称 | 权重 | 尺度上限 | 来源 |
|---|---|---|---|
| JC | 本实验训练的 JC1 | 0.1 | 本实验新跑 |
| ZS | 发布权重 | 0.1 | 复用 ENSEMBLES-ARKIT 的封存 |
| JA | JEPA-ARKIT-V1 的 JA1 | 3.0 | 复用 JBT 的封存 |
| ZS3 | 发布权重 | 3.0 | 复用 JBT 的封存 |
- JC1 的训练: 使用 OVERLAP-V1 的
train_jepa_arkit_overlap.py。- 种子 20261008,4000 步,学习率 5e-6(ViT 5e-7),预热 200 步后余弦衰减,AdamW(weight decay 1e-4),梯度裁剪 1.0;
- 每步 2 个目标帧(命中比例 ≥ 0.05),损失 = 原始渲染深度相对 L1 + 0.5 × RGB L1;
- 注入测得深度,使用最后一步;
- 尺度上限为 0.1,这是与 JO1 唯一的不同。
- 只训练一个种子: 与 JBT 一致,TTT 只用一个事先指定的种子。
- 无模型基线: R7 = REPROJ7_HARMONIC,复用 ENSEMBLES-ARKIT 的几何封存。
4. 读出与指标
- F7 读出: α ≥ 0.5 处取射线深度 (depth_z / α) / cos,其余用 R7。
- 集成: GEO_X = sqrt(R7 × X)。
- 指标: AbsRel,区域为 ALL、NEAR7、FAR7。场景值 = 各角色的查询平均后,再对角色平均。
5. 主检验
使用 V2 gate;统计用场景 bootstrap,10,000 次,种子 20260928。
| 编号 | 对比(> 0 表示右边更好) | 区域 | 分支 |
|---|---|---|---|
| P1 | ZS_TTT − JC_TTT | ALL | JEPA_CAP01_IMPROVES_TTT(SUPPORTED)/ _PARTIAL / _NOT_ESTABLISHED / _HARMFUL |
| P2 | ZS_CACHE − JC_CACHE | ALL | JEPA_CAP01_IMPROVES_CACHE(SUPPORTED)/ _PARTIAL / _NOT_ESTABLISHED / _HARMFUL |
6. 次要分析(只给标签)
| 编号 | 对比 | 区域 | 含义 |
|---|---|---|---|
| S1 | GEO_ZS_TTT − GEO_JC_TTT | ALL | 集成后的比较 |
| S2 | R7 − GEO_JC_TTT | ALL | JC 集成是否胜过无模型 |
| S3 | JC_CACHE − JC_TTT | ALL | JC 基座上 TTT 的增益 |
| S4 | JA_TTT − JC_TTT | ALL | 同为逆向 JEPA 训练,上限 0.1 对比 3.0 |
| S5 | ZS_TTT − JC_TTT | NEAR7 | |
| S6 | ZS_TTT − JC_TTT | FAR7 |
另外报告各构建器、各臂的覆盖率。复现检查:复用封存的均值必须与原实验相同。
7. 完整性与局限
- 完整性:
- 读真值之前,复用的封存与新封存都必须完整,哈希不变。
- 分析跑两次,结果文件必须逐字节相同。
- 局限:
- 只有一个种子。
- 队列只有 80 个扫描,且已用于 ENSEMBLES-ARKIT 与 JBT 的评估。但 JC 从未在任何数据上评估过,本实验也不在这个队列上选择任何设置。