EXP-3D-RGBD-DEPTHSPLAT-JEPA-NORM-FEEDFORWARD-ARKIT-V1:只奖励精度的逆向 JEPA 能否改进前馈状态(预注册复现)
结论:JN1_FEEDFORWARD_PARTIAL,RECIPE_FEEDFORWARD_PARTIAL。改进在全新扫描和新种子上都复现了,大小与原来一致,但逐场景不够一致。
- P1(同一个模型 JN1): 160 个全新扫描上,JN1 的 7 帧前馈状态仍比发布权重好。
- ALL AbsRel 为 0.1572 对 0.1608,+0.0036 [+0.0004, +0.0076],好/平/差 109/0/51,PARTIAL。
- 均值与 ARKIT_VAL 上完全相同(+0.0036),CI 不含 0。但只有 68% 的场景变好,没有达到 V2 gate 的 75%。
- P2(配方,3 个种子平均): +0.0041 [+0.0010, +0.0080],110/0/50,PARTIAL。三个种子分别为 +0.0036、+0.0045、+0.0042,CI 都不含 0(S8、S9)。
- 好处都在 NEAR7: JN1 从 0.0763 降到 0.0717(−6%,S4,110/0/50);FAR7 没有变化(S5)。
- 与无模型方法比较: JN 的前馈胜过 R7(+0.0058,94/0/66,PARTIAL);发布权重的前馈与 R7 打平(+0.0022,79/0/81)。
- 7 帧布局的 JK1 没有改进(S7)。
- 结论:
- 只奖励精度的逆向 JEPA 训练对前馈状态有真实但很小的改进,约 2.5%。
- 它在两个独立队列(ARKIT_VAL、ARKIT_SYSTEM3)和三个种子上,方向与大小都一致,但逐场景只有约 2/3 变好。
- 这是本项目中逆向 JEPA 在真实数据上第一个可复现的正面效应。
- 做 TTT 之后它没有优势(见 OBJECTIVE-TTT 的 P1)。
说明:
- 预注册: 见 PROTOCOL.md,2026-10-09 19:23:38 锁定,sha256
7ff1827a…。- 设计受 OBJECTIVE-TTT 的次要分析 S3 启发。
- 建目录和锁定脚本都核对了 V3 尚未打分,所以锁定时 ARKIT_SYSTEM3 的真值还没有被读取过。
- 训练: JN2、JN3 与 JN1 的脚本逐字节相同、设置相同,只换种子(20261009、20261010)。两者同时训练,各用时 85 分钟、显存 6.5 GB。
- 评估: ARKIT_SYSTEM3,160 个扫描、320 个 episode、640 个查询,episode 与 V3 相同;复用 V3 的几何封存。
- 只跑 CACHE 臂,每个模型 4–8 分钟,显存 2.9 GB。
- 五个封存都核对了检查点哈希:发布权重、JN1、JK1 对照锁定记录,JN2、JN3 对照训练产出。
- 执行与统计:
- GPU 4 与另一用户的常驻进程共用。分析运行两次,结果逐字节相同。
- 统计单位是场景,bootstrap 10,000 次,种子 20260928,判定用 V2 gate。
训练中的 DEV 读数
DEV 为 ARKit 训练折的 8 个扫描、第 14、15 帧,3 帧上下文,只作记录。表中为被覆盖像素 AbsRel / 覆盖率。
| 步数 | 0 | 500 | 1000 | 2000 | 3000 | 4000 |
|---|---|---|---|---|---|---|
| JN1(OBJECTIVE-TTT) | 0.214 / 0.19 | 0.230 / 0.16 | 0.217 / 0.12 | 0.234 / 0.11 | 0.237 / 0.10 | 0.236 / 0.10 |
| JN2 | 0.214 / 0.19 | 0.216 / 0.17 | 0.244 / 0.10 | 0.206 / 0.09 | 0.236 / 0.08 | 0.212 / 0.08 |
| JN3 | 0.214 / 0.19 | 0.223 / 0.17 | 0.239 / 0.13 | 0.225 / 0.10 | 0.171 / 0.09 | 0.170 / 0.09 |
结果
| 编号 | 对比(> 0 表示右边更好) | 区域 | 均值 | 95% CI | 好/平/差 | 中位数 | 状态 |
|---|---|---|---|---|---|---|---|
| P1 | ZS_CACHE − JN1_CACHE | ALL | +0.0036 | [+0.0004, +0.0076] | 109/0/51 | +0.0019 | PARTIAL |
| P2 | ZS_CACHE − JNS_CACHE | ALL | +0.0041 | [+0.0010, +0.0080] | 110/0/50 | +0.0020 | PARTIAL |
| S1 | R7 − JN1_CACHE | ALL | +0.0058 | [+0.0031, +0.0087] | 94/0/66 | +0.0010 | PARTIAL |
| S2 | R7 − JNS_CACHE | ALL | +0.0063 | [+0.0035, +0.0094] | 96/0/64 | +0.0009 | PARTIAL |
| S3 | R7 − ZS_CACHE | ALL | +0.0022 | [−0.0023, +0.0064] | 79/0/81 | −0.0001 | NOT_ESTABLISHED |
| S4 | ZS_CACHE − JN1_CACHE | NEAR7 | +0.0046 | [+0.0011, +0.0087] | 110/0/50 | +0.0026 | PARTIAL |
| S5 | ZS_CACHE − JN1_CACHE | FAR7 | −0.0013 | [−0.0043, +0.0016] | 67/12/78 | +0.0000 | NOT_ESTABLISHED |
| S6 | GEO_ZS_CACHE − GEO_JN1_CACHE | ALL | +0.0014 | [−0.0004, +0.0037] | 91/0/69 | +0.0004 | NOT_ESTABLISHED |
| S7 | ZS_CACHE − JK1_CACHE | ALL | −0.0003 | [−0.0044, +0.0037] | 97/0/63 | +0.0010 | NOT_ESTABLISHED |
| S8 | ZS_CACHE − JN2_CACHE | ALL | +0.0045 | [+0.0015, +0.0084] | 105/0/55 | +0.0020 | PARTIAL |
| S9 | ZS_CACHE − JN3_CACHE | ALL | +0.0042 | [+0.0012, +0.0082] | 109/0/51 | +0.0022 | PARTIAL |
均值与覆盖率(160 个场景;FAR7 为 157 个):
| 前馈状态 | ALL | NEAR7 | FAR7 | 覆盖率 |
|---|---|---|---|---|
| R7(无模型) | 0.1630 | 0.0781 | 0.3037 | — |
| ZS(发布权重) | 0.1608 | 0.0763 | 0.2973 | 0.72 |
| JN1 | 0.1572 | 0.0717 | 0.2987 | 0.54 |
| JN2 | 0.1563 | 0.0709 | 0.2972 | 0.53 |
| JN3 | 0.1566 | 0.0709 | 0.2986 | 0.53 |
| JNS(三种子平均) | 0.1567 | 0.0712 | 0.2982 | 0.53 |
| JK1(7 帧布局) | 0.1610 | 0.0761 | 0.3018 | 0.24 |
事后探索:前馈与 Core B 的比较(未预注册)
exploratory_posthoc/feedforward_vs_coreb.* 在 ARKIT_SYSTEM3 上逐场景比较了本实验的 JN 前馈与 V3 的 Core B。两个实验的 frame_role_lock 逐字节相同,R7 的场景值差为 0。
| 对比(> 0 表示右边更好) | 均值 | 95% CI | 好/平/差 | 中位数 |
|---|---|---|---|---|
| CORE_B − JNS_CACHE | +0.0002 | [−0.0017, +0.0023] | 47/0/113 | −0.0014 |
| CORE_B − JN1_CACHE | −0.0003 | [−0.0022, +0.0018] | 52/0/108 | −0.0013 |
| ZS_TTT_F7 − JNS_CACHE | −0.0023 | [−0.0045, +0.0001] | 51/0/109 | −0.0020 |
均值上,JN 的前馈与 Core B 打平(0.1567 对 0.1569);但逐场景看,Core B 在 71% 的场景更好。前馈每个查询不到 1 秒,Core B 的 TTT 约 50 秒。
解读
- 这个改进是配方的稳定性质,不是 JN1 的偶然。 两个独立队列上 JN1 的均值改进都是 +0.0036,新训练的两个种子也一样(+0.0045、+0.0042)。
- 机理与弃权一致。
- 训练后覆盖率从 0.72 降到约 0.53,好处全在 NEAR7。
- 在那些模型自己不可靠、R7 更准的地方,模型交给了 R7。
- 但约 1/3 的场景变差,说明弃权的位置并不总是对的。
- 实用意义有限。
- 不能运行 TTT 时,JN 的前馈比发布权重和 R7 都好,均值上接近 Core B。
- 但 Core B 逐场景更好,而且一致得多:对 R7 是 149/11,JN 前馈对 R7 是 96/64。
- 有时间做 TTT 的场景,仍应使用 Core B。
- 对逆向 JEPA 的总体结论: 在 182 个真实训练扫描的规模下,只奖励精度的逆向 JEPA 能稳定地小幅改进前馈状态(PARTIAL),但不能改进 TTT。
文件
PROTOCOL.md、preregistration.json、frame_role_lock.json(复制自 V3)、reused_seals.jsontraining/hit_shares_TRAIN.json(与 OBJECTIVE-TTT、OVERLAP-V1 相同)code/:train_jepa_arkit_norm.py及其依赖(与 OBJECTIVE-TTT 逐字节相同);- 建目录、锁定、任务与打分脚本。
checkpoints/JN2/、checkpoints/JN3/(含SHA256SUMS)ds/ARKIT_SYSTEM3/{ZS,JN1,JN2,JN3,JK1}/:CACHE 封存scores/、results/、audit/、exploratory_posthoc/