Source: docs/experiments/EXP-3D-RGBD-DEPTHSPLAT-JEPA-OBJECTIVE-TTT-ARKIT-V1/PROTOCOL.md · Plain text

EXP-3D-RGBD-DEPTHSPLAT-JEPA-OBJECTIVE-TTT-ARKIT-V1:只奖励精度的逆向 JEPA 能否改进 TTT

本文件即预注册。锁定时间与哈希见 preregistration.json。

1. 问题

此前两次尝试,逆向 JEPA 预训练都让 TTT 的起点变差:

JC 的分析指向训练目标:它对未覆盖的像素按全深度惩罚,奖励的是覆盖而不是精度。结果前馈覆盖率从 0.73 升到 0.88,前馈误差从 0.121 升到 0.173。

本实验改用只奖励精度的目标:

本实验检验两个变体:

本设计受 JBT 与 JC 结果的启发,但锁定早于本实验的任何训练与评估。

2. 数据

3. 模型

两个变体都只训练 1 个种子(20261008),4000 步,学习率 5e-6(ViT 5e-7),预热 200 步后余弦衰减,AdamW(weight decay 1e-4),梯度裁剪 1.0,尺度上限 0.1,使用最后一步。

4. 读出与指标

5. 主检验

主检验用 V2 gate;统计用场景 bootstrap,10,000 次,种子 20260928。

编号 对比(> 0 表示右边更好) 区域 分支
P1 ZS_TTT − JN_TTT ALL JN_IMPROVES_TTT(SUPPORTED)/ _PARTIAL / _NOT_ESTABLISHED / JN_HARMS_TTT
P2 ZS_TTT − JK_TTT ALL JK_IMPROVES_TTT(SUPPORTED)/ _PARTIAL / _NOT_ESTABLISHED / JK_HARMS_TTT

6. 次要分析(只给标签)

编号 对比 区域 含义
S1 JC_TTT − JN_TTT ALL 同一上限下,只换训练目标的效果
S2 JN_TTT − JK_TTT ALL 7 帧布局的效果
S3 ZS_CACHE − JN_CACHE ALL 前馈状态
S4 ZS_CACHE − JK_CACHE ALL 前馈状态
S5 GEO_ZS_TTT − GEO_JK_TTT ALL 集成后
S6 GEO_ZS_TTT − GEO_JN_TTT ALL 集成后
S7 ZS_TTT − JK_TTT NEAR7
S8 ZS_TTT − JK_TTT FAR7

另外报告各构建器、各臂的覆盖率。复现检查:复用封存的均值必须与原实验相同。

7. 完整性与局限