# EXP-3D-RGBD-DEPTHSPLAT-JEPA-OBJECTIVE-TTT-ARKIT-V1:只奖励精度的逆向 JEPA 能否改进 TTT **结论:JN_TTT_NOT_ESTABLISHED,JK_HARMS_TTT。** - **P1:** 训练目标改为只奖励已覆盖像素的精度后(JN1),JC 的损害消失了,但 TTT 结果只是与发布权重打平。ALL AbsRel 为 0.1149 对 0.1141,−0.0008 [−0.0032, +0.0016],30/0/50,NOT_ESTABLISHED。 - **P2:** 再按 TTT 评估的布局训练,TTT 结果反而变差。JK1 用上下文 3 帧加流式帧 4 帧建状态,目标为第 14、15 帧。结果为 0.1178,−0.0038 [−0.0069, −0.0006],24/0/56,HARMFUL。 - **新现象:只奖励精度的目标让模型学会"弃权"。** - 7 帧前馈状态的覆盖率从 0.73(发布权重)降到 0.55(JN)和 0.26(JK)。F7 读出在未覆盖处退回 R7。 - 结果,不做 TTT 时 JN 的前馈状态比发布权重好:0.1172 对 0.1208,+0.0036 [+0.0009, +0.0062],60/0/20,SUPPORTED(次要分析 S3)。好处全在 NEAR7:0.0718 对 0.0764,R7 为 0.0757。 - TTT 把这点差距抹平了。发布权重经 TTT 从 0.1208 降到 0.1141,JN 只从 0.1172 降到 0.1149,JK 几乎没变(0.1182 → 0.1178)。 - **结论:** - 在 182 个 ARKit 训练扫描上,四种逆向 JEPA 预训练设置(JA、JC、JN、JK)都没有给 TTT 更好的起点;最好的 JN 只与发布权重打平。 - Core B 的实用配置不变。逆向 JEPA → TTT 这条线到此结束。 - 唯一的正面结果是 S3:不做 TTT 时,只奖励精度的逆向 JEPA 改进了前馈状态。它只有一个种子,又是次要分析,正在全新扫描上用 3 个种子做预注册复现(EXP-3D-RGBD-DEPTHSPLAT-JEPA-NORM-FEEDFORWARD-ARKIT-V1)。 **说明:** - **预注册:** 见 [PROTOCOL.md](PROTOCOL.md),2026-10-09 14:41:45 锁定,sha256 `a826b21c…`。 - 设计受 JBT 与 JC 的结果启发,锁定早于本实验的任何训练与评估。 - 锁定脚本由 OVERLAP-V1 的训练脚本重新派生出两个训练脚本,确认与 `code/` 中的逐字节相同。 - **训练:** 两个模型同时训练,各一个种子(20261008)。JN1 用时 87 分钟、显存 6.5 GB;JK1 用时 139 分钟、显存 12.6 GB。 - **评估:** ARKIT_VAL,80 个扫描、160 个 episode、320 个查询,episode 与 ENSEMBLES-ARKIT、JBT、JC 相同。 - 复用了 ENSEMBLES-ARKIT 的几何封存和发布权重的封存、JBT 的 JA 与 ZS3 封存、JC 的封存。8 项复现检查的均值差都是 0。 - 每个模型 2 个分片,每个约 2.1–2.4 小时,峰值显存 5.1 GB。 - **执行与统计:** - GPU 4 与另一用户的常驻进程共用。分析运行两次,结果逐字节相同。 - 统计单位是场景,bootstrap 10,000 次,种子 20260928,判定用 V2 gate。 ## 训练中的 DEV 读数 DEV 为 ARKit 训练折的 8 个扫描、第 14、15 帧,3 帧上下文,上限 0.1,只作记录,不用于任何选择。表中为被覆盖像素 AbsRel / 覆盖率。 | 步数 | 0 | 500 | 1000 | 2000 | 3000 | 4000 | | --- | --- | --- | --- | --- | --- | --- | | JC(原目标,参考) | 0.214 / 0.19 | 0.318 / 0.26 | 0.326 / 0.27 | 0.324 / 0.28 | 0.324 / 0.27 | 0.323 / 0.27 | | JN(只奖励精度) | 0.214 / 0.19 | 0.230 / 0.16 | 0.217 / 0.12 | 0.234 / 0.11 | 0.237 / 0.10 | 0.236 / 0.10 | | JK(只奖励精度 + 7 帧布局) | 0.214 / 0.19 | 0.254 / 0.07 | 0.237 / 0.06 | 0.142 / 0.02 | 0.159 / 0.03 | 0.147 / 0.03 | ## 结果(80 个场景) | 编号 | 对比(> 0 表示右边更好) | 区域 | 均值 | 95% CI | 好/平/差 | 中位数 | 状态 | | --- | --- | --- | ---: | --- | --- | ---: | --- | | **P1** | ZS_TTT − JN_TTT | ALL | −0.0008 | [−0.0032, +0.0016] | 30/0/50 | −0.0005 | **NOT_ESTABLISHED** | | **P2** | ZS_TTT − JK_TTT | ALL | −0.0038 | [−0.0069, −0.0006] | 24/0/56 | −0.0020 | **HARMFUL** | | S1 | JC_TTT − JN_TTT | ALL | +0.0062 | [−0.0003, +0.0131] | 52/0/28 | +0.0038 | NOT_ESTABLISHED | | S2 | JN_TTT − JK_TTT | ALL | −0.0029 | [−0.0055, −0.0003] | 23/0/57 | −0.0013 | HARMFUL | | S3 | ZS_CACHE − JN_CACHE | ALL | +0.0036 | [+0.0009, +0.0062] | 60/0/20 | +0.0027 | SUPPORTED | | S4 | ZS_CACHE − JK_CACHE | ALL | +0.0026 | [+0.0001, +0.0054] | 48/0/32 | +0.0019 | PARTIAL | | S5 | GEO_ZS_TTT − GEO_JK_TTT | ALL | −0.0018 | [−0.0035, −0.0002] | 23/0/57 | −0.0012 | HARMFUL | | S6 | GEO_ZS_TTT − GEO_JN_TTT | ALL | −0.0006 | [−0.0018, +0.0005] | 27/0/53 | −0.0003 | NOT_ESTABLISHED | | S7 | ZS_TTT − JK_TTT | NEAR7 | −0.0043 | [−0.0076, −0.0007] | 24/0/56 | −0.0023 | HARMFUL | | S8 | ZS_TTT − JK_TTT | FAR7 | −0.0015 | [−0.0049, +0.0017] | 32/7/36 | +0.0000 | NOT_ESTABLISHED | **均值与覆盖率:** | 构建器(尺度上限) | CACHE | 覆盖率 | TTT | 覆盖率 | GEO(与 R7) | CACHE NEAR7 | TTT NEAR7 | | --- | ---: | ---: | ---: | ---: | ---: | ---: | ---: | | ZS(发布权重,0.1) | 0.1208 | 0.73 | **0.1141** | 0.72 | 0.1161 | 0.0764 | **0.0685** | | **JN(只奖励精度,0.1)** | **0.1172** | 0.55 | 0.1149 | 0.70 | 0.1167 | **0.0718** | 0.0694 | | **JK(只奖励精度 + 7 帧布局,0.1)** | 0.1182 | 0.26 | 0.1178 | 0.64 | 0.1179 | 0.0727 | 0.0728 | | JC(原目标,0.1) | 0.1725 | 0.88 | 0.1211 | 0.84 | 0.1161 | 0.1374 | 0.0790 | | ZS3(发布权重,3.0) | 0.2534 | 0.89 | 0.1360 | 0.78 | 0.1239 | 0.2279 | 0.0929 | | JA(原目标,3.0) | 0.2655 | 0.97 | 0.1586 | 0.87 | 0.1328 | 0.2528 | 0.1158 | R7(7 帧重投影 + 调和插值):ALL 0.1209,NEAR7 0.0757,FAR7 0.2567。FAR7 中,上限 0.1 的各构建器 TTT 后都与 R7 相近(0.253–0.257)。 ## 解读 - **训练目标确实是 JC 损害的来源。** 只换目标后,TTT 结果从 0.121 回到 0.115,与发布权重打平;前馈状态从 0.173 变为 0.117。对 JC 的改进(S1)为 +0.0062,52/0/28,CI 下限略低于 0。 - **只奖励精度的目标会让模型主动弃权。** - 未覆盖的像素不产生损失,而去掉放错位置的高斯能降低已覆盖像素的误差,所以不透明度整体下降、覆盖率降低。 - 7 帧布局下更极端,前馈覆盖率只有 0.26。 - 这一机理是推测,没有单独检验。 - **弃权对前馈有用,对 TTT 没用。** - 不做 TTT 时,JN 把不可靠的区域交给 R7,所以比发布权重更准(S3,60/0/20)。 - TTT 用 7 帧测量深度重新优化高斯,本身就会修正这些区域。发布权重经 TTT 后,NEAR7 达到 0.0685,好于 JN 的 0.0694 和 JK 的 0.0728。 - 弃权留下的低不透明度起点,100 步 TTT 也拉不回同样的精度:JN、JK 的 TTT 覆盖率为 0.70、0.64,发布权重为 0.72。 - **对 Core B 的含义:** - 实用配置不变,仍是"发布权重(上限 0.1)+ TTT + 与 7 帧重投影取几何平均"。 - 逆向 JEPA → TTT 这条线到此结束:四种设置中最好的只是打平。 - **值得复现的副产品:** - 只奖励精度的逆向 JEPA 改进了不做 TTT 的前馈状态。如果复现成立,它可用于不能运行 TTT 的场景(TTT 每个查询约 50 秒)。 - 复现实验 NF 已于 2026-10-09 19:23 锁定,早于 FULL-SYSTEM-V3 读取同一批扫描的任何真值。 ## 文件 - `PROTOCOL.md`、`preregistration.json`、`frame_role_lock.json`(复制自 ENSEMBLES-ARKIT)、`reused_seals.json` - `training/`: - `hit_shares_TRAIN.json`(与 OVERLAP-V1 相同); - `streams_TRAIN.json`(由 `code/make_streams_train.py` 生成)。 - `code/`: - 派生脚本 `derive_train_norm.py`、`derive_train_cache.py`,以及派生结果 `train_jepa_arkit_norm.py`、`train_jepa_arkit_cache.py`; - 依赖 `ds_predict.py`、`ds_finetune.py`、`arkit_records.py`(与 OVERLAP-V1 相同); - 建目录、锁定、任务与打分脚本。 - `checkpoints/JN1/`、`checkpoints/JK1/`(含 `SHA256SUMS`) - `ds/ARKIT_VAL/JN/`、`ds/ARKIT_VAL/JK/`:新的 DepthSplat 封存 - `scores/`、`results/`、`audit/`