EXP-3D-RGBD-DEPTHSPLAT-JEPA-OBJECTIVE-TTT-ARKIT-V1:只奖励精度的逆向 JEPA 能否改进 TTT
结论:JN_TTT_NOT_ESTABLISHED,JK_HARMS_TTT。
- P1: 训练目标改为只奖励已覆盖像素的精度后(JN1),JC 的损害消失了,但 TTT 结果只是与发布权重打平。ALL AbsRel 为 0.1149 对 0.1141,−0.0008 [−0.0032, +0.0016],30/0/50,NOT_ESTABLISHED。
- P2: 再按 TTT 评估的布局训练,TTT 结果反而变差。JK1 用上下文 3 帧加流式帧 4 帧建状态,目标为第 14、15 帧。结果为 0.1178,−0.0038 [−0.0069, −0.0006],24/0/56,HARMFUL。
- 新现象:只奖励精度的目标让模型学会"弃权"。
- 7 帧前馈状态的覆盖率从 0.73(发布权重)降到 0.55(JN)和 0.26(JK)。F7 读出在未覆盖处退回 R7。
- 结果,不做 TTT 时 JN 的前馈状态比发布权重好:0.1172 对 0.1208,+0.0036 [+0.0009, +0.0062],60/0/20,SUPPORTED(次要分析 S3)。好处全在 NEAR7:0.0718 对 0.0764,R7 为 0.0757。
- TTT 把这点差距抹平了。发布权重经 TTT 从 0.1208 降到 0.1141,JN 只从 0.1172 降到 0.1149,JK 几乎没变(0.1182 → 0.1178)。
- 结论:
- 在 182 个 ARKit 训练扫描上,四种逆向 JEPA 预训练设置(JA、JC、JN、JK)都没有给 TTT 更好的起点;最好的 JN 只与发布权重打平。
- Core B 的实用配置不变。逆向 JEPA → TTT 这条线到此结束。
- 唯一的正面结果是 S3:不做 TTT 时,只奖励精度的逆向 JEPA 改进了前馈状态。它只有一个种子,又是次要分析,正在全新扫描上用 3 个种子做预注册复现(EXP-3D-RGBD-DEPTHSPLAT-JEPA-NORM-FEEDFORWARD-ARKIT-V1)。
说明:
- 预注册: 见 PROTOCOL.md,2026-10-09 14:41:45 锁定,sha256
a826b21c…。- 设计受 JBT 与 JC 的结果启发,锁定早于本实验的任何训练与评估。
- 锁定脚本由 OVERLAP-V1 的训练脚本重新派生出两个训练脚本,确认与
code/中的逐字节相同。
- 训练: 两个模型同时训练,各一个种子(20261008)。JN1 用时 87 分钟、显存 6.5 GB;JK1 用时 139 分钟、显存 12.6 GB。
- 评估: ARKIT_VAL,80 个扫描、160 个 episode、320 个查询,episode 与 ENSEMBLES-ARKIT、JBT、JC 相同。
- 复用了 ENSEMBLES-ARKIT 的几何封存和发布权重的封存、JBT 的 JA 与 ZS3 封存、JC 的封存。8 项复现检查的均值差都是 0。
- 每个模型 2 个分片,每个约 2.1–2.4 小时,峰值显存 5.1 GB。
- 执行与统计:
- GPU 4 与另一用户的常驻进程共用。分析运行两次,结果逐字节相同。
- 统计单位是场景,bootstrap 10,000 次,种子 20260928,判定用 V2 gate。
训练中的 DEV 读数
DEV 为 ARKit 训练折的 8 个扫描、第 14、15 帧,3 帧上下文,上限 0.1,只作记录,不用于任何选择。表中为被覆盖像素 AbsRel / 覆盖率。
| 步数 | 0 | 500 | 1000 | 2000 | 3000 | 4000 |
|---|---|---|---|---|---|---|
| JC(原目标,参考) | 0.214 / 0.19 | 0.318 / 0.26 | 0.326 / 0.27 | 0.324 / 0.28 | 0.324 / 0.27 | 0.323 / 0.27 |
| JN(只奖励精度) | 0.214 / 0.19 | 0.230 / 0.16 | 0.217 / 0.12 | 0.234 / 0.11 | 0.237 / 0.10 | 0.236 / 0.10 |
| JK(只奖励精度 + 7 帧布局) | 0.214 / 0.19 | 0.254 / 0.07 | 0.237 / 0.06 | 0.142 / 0.02 | 0.159 / 0.03 | 0.147 / 0.03 |
结果(80 个场景)
| 编号 | 对比(> 0 表示右边更好) | 区域 | 均值 | 95% CI | 好/平/差 | 中位数 | 状态 |
|---|---|---|---|---|---|---|---|
| P1 | ZS_TTT − JN_TTT | ALL | −0.0008 | [−0.0032, +0.0016] | 30/0/50 | −0.0005 | NOT_ESTABLISHED |
| P2 | ZS_TTT − JK_TTT | ALL | −0.0038 | [−0.0069, −0.0006] | 24/0/56 | −0.0020 | HARMFUL |
| S1 | JC_TTT − JN_TTT | ALL | +0.0062 | [−0.0003, +0.0131] | 52/0/28 | +0.0038 | NOT_ESTABLISHED |
| S2 | JN_TTT − JK_TTT | ALL | −0.0029 | [−0.0055, −0.0003] | 23/0/57 | −0.0013 | HARMFUL |
| S3 | ZS_CACHE − JN_CACHE | ALL | +0.0036 | [+0.0009, +0.0062] | 60/0/20 | +0.0027 | SUPPORTED |
| S4 | ZS_CACHE − JK_CACHE | ALL | +0.0026 | [+0.0001, +0.0054] | 48/0/32 | +0.0019 | PARTIAL |
| S5 | GEO_ZS_TTT − GEO_JK_TTT | ALL | −0.0018 | [−0.0035, −0.0002] | 23/0/57 | −0.0012 | HARMFUL |
| S6 | GEO_ZS_TTT − GEO_JN_TTT | ALL | −0.0006 | [−0.0018, +0.0005] | 27/0/53 | −0.0003 | NOT_ESTABLISHED |
| S7 | ZS_TTT − JK_TTT | NEAR7 | −0.0043 | [−0.0076, −0.0007] | 24/0/56 | −0.0023 | HARMFUL |
| S8 | ZS_TTT − JK_TTT | FAR7 | −0.0015 | [−0.0049, +0.0017] | 32/7/36 | +0.0000 | NOT_ESTABLISHED |
均值与覆盖率:
| 构建器(尺度上限) | CACHE | 覆盖率 | TTT | 覆盖率 | GEO(与 R7) | CACHE NEAR7 | TTT NEAR7 |
|---|---|---|---|---|---|---|---|
| ZS(发布权重,0.1) | 0.1208 | 0.73 | 0.1141 | 0.72 | 0.1161 | 0.0764 | 0.0685 |
| JN(只奖励精度,0.1) | 0.1172 | 0.55 | 0.1149 | 0.70 | 0.1167 | 0.0718 | 0.0694 |
| JK(只奖励精度 + 7 帧布局,0.1) | 0.1182 | 0.26 | 0.1178 | 0.64 | 0.1179 | 0.0727 | 0.0728 |
| JC(原目标,0.1) | 0.1725 | 0.88 | 0.1211 | 0.84 | 0.1161 | 0.1374 | 0.0790 |
| ZS3(发布权重,3.0) | 0.2534 | 0.89 | 0.1360 | 0.78 | 0.1239 | 0.2279 | 0.0929 |
| JA(原目标,3.0) | 0.2655 | 0.97 | 0.1586 | 0.87 | 0.1328 | 0.2528 | 0.1158 |
R7(7 帧重投影 + 调和插值):ALL 0.1209,NEAR7 0.0757,FAR7 0.2567。FAR7 中,上限 0.1 的各构建器 TTT 后都与 R7 相近(0.253–0.257)。
解读
- 训练目标确实是 JC 损害的来源。 只换目标后,TTT 结果从 0.121 回到 0.115,与发布权重打平;前馈状态从 0.173 变为 0.117。对 JC 的改进(S1)为 +0.0062,52/0/28,CI 下限略低于 0。
- 只奖励精度的目标会让模型主动弃权。
- 未覆盖的像素不产生损失,而去掉放错位置的高斯能降低已覆盖像素的误差,所以不透明度整体下降、覆盖率降低。
- 7 帧布局下更极端,前馈覆盖率只有 0.26。
- 这一机理是推测,没有单独检验。
- 弃权对前馈有用,对 TTT 没用。
- 不做 TTT 时,JN 把不可靠的区域交给 R7,所以比发布权重更准(S3,60/0/20)。
- TTT 用 7 帧测量深度重新优化高斯,本身就会修正这些区域。发布权重经 TTT 后,NEAR7 达到 0.0685,好于 JN 的 0.0694 和 JK 的 0.0728。
- 弃权留下的低不透明度起点,100 步 TTT 也拉不回同样的精度:JN、JK 的 TTT 覆盖率为 0.70、0.64,发布权重为 0.72。
- 对 Core B 的含义:
- 实用配置不变,仍是"发布权重(上限 0.1)+ TTT + 与 7 帧重投影取几何平均"。
- 逆向 JEPA → TTT 这条线到此结束:四种设置中最好的只是打平。
- 值得复现的副产品:
- 只奖励精度的逆向 JEPA 改进了不做 TTT 的前馈状态。如果复现成立,它可用于不能运行 TTT 的场景(TTT 每个查询约 50 秒)。
- 复现实验 NF 已于 2026-10-09 19:23 锁定,早于 FULL-SYSTEM-V3 读取同一批扫描的任何真值。
文件
PROTOCOL.md、preregistration.json、frame_role_lock.json(复制自 ENSEMBLES-ARKIT)、reused_seals.jsontraining/:hit_shares_TRAIN.json(与 OVERLAP-V1 相同);streams_TRAIN.json(由code/make_streams_train.py生成)。
code/:- 派生脚本
derive_train_norm.py、derive_train_cache.py,以及派生结果train_jepa_arkit_norm.py、train_jepa_arkit_cache.py; - 依赖
ds_predict.py、ds_finetune.py、arkit_records.py(与 OVERLAP-V1 相同); - 建目录、锁定、任务与打分脚本。
- 派生脚本
checkpoints/JN1/、checkpoints/JK1/(含SHA256SUMS)ds/ARKIT_VAL/JN/、ds/ARKIT_VAL/JK/:新的 DepthSplat 封存scores/、results/、audit/