Source: docs/experiments/EXP-3D-RGBD-DEPTHSPLAT-JEPA-NORM-FEEDFORWARD-ARKIT-V1/README.md · Plain text

EXP-3D-RGBD-DEPTHSPLAT-JEPA-NORM-FEEDFORWARD-ARKIT-V1:只奖励精度的逆向 JEPA 能否改进前馈状态(预注册复现)

结论:JN1_FEEDFORWARD_PARTIAL,RECIPE_FEEDFORWARD_PARTIAL。改进在全新扫描和新种子上都复现了,大小与原来一致,但逐场景不够一致。

说明:

训练中的 DEV 读数

DEV 为 ARKit 训练折的 8 个扫描、第 14、15 帧,3 帧上下文,只作记录。表中为被覆盖像素 AbsRel / 覆盖率。

步数 0 500 1000 2000 3000 4000
JN1(OBJECTIVE-TTT) 0.214 / 0.19 0.230 / 0.16 0.217 / 0.12 0.234 / 0.11 0.237 / 0.10 0.236 / 0.10
JN2 0.214 / 0.19 0.216 / 0.17 0.244 / 0.10 0.206 / 0.09 0.236 / 0.08 0.212 / 0.08
JN3 0.214 / 0.19 0.223 / 0.17 0.239 / 0.13 0.225 / 0.10 0.171 / 0.09 0.170 / 0.09

结果

编号 对比(> 0 表示右边更好) 区域 均值 95% CI 好/平/差 中位数 状态
P1 ZS_CACHE − JN1_CACHE ALL +0.0036 [+0.0004, +0.0076] 109/0/51 +0.0019 PARTIAL
P2 ZS_CACHE − JNS_CACHE ALL +0.0041 [+0.0010, +0.0080] 110/0/50 +0.0020 PARTIAL
S1 R7 − JN1_CACHE ALL +0.0058 [+0.0031, +0.0087] 94/0/66 +0.0010 PARTIAL
S2 R7 − JNS_CACHE ALL +0.0063 [+0.0035, +0.0094] 96/0/64 +0.0009 PARTIAL
S3 R7 − ZS_CACHE ALL +0.0022 [−0.0023, +0.0064] 79/0/81 −0.0001 NOT_ESTABLISHED
S4 ZS_CACHE − JN1_CACHE NEAR7 +0.0046 [+0.0011, +0.0087] 110/0/50 +0.0026 PARTIAL
S5 ZS_CACHE − JN1_CACHE FAR7 −0.0013 [−0.0043, +0.0016] 67/12/78 +0.0000 NOT_ESTABLISHED
S6 GEO_ZS_CACHE − GEO_JN1_CACHE ALL +0.0014 [−0.0004, +0.0037] 91/0/69 +0.0004 NOT_ESTABLISHED
S7 ZS_CACHE − JK1_CACHE ALL −0.0003 [−0.0044, +0.0037] 97/0/63 +0.0010 NOT_ESTABLISHED
S8 ZS_CACHE − JN2_CACHE ALL +0.0045 [+0.0015, +0.0084] 105/0/55 +0.0020 PARTIAL
S9 ZS_CACHE − JN3_CACHE ALL +0.0042 [+0.0012, +0.0082] 109/0/51 +0.0022 PARTIAL

均值与覆盖率(160 个场景;FAR7 为 157 个):

前馈状态 ALL NEAR7 FAR7 覆盖率
R7(无模型) 0.1630 0.0781 0.3037 —
ZS(发布权重) 0.1608 0.0763 0.2973 0.72
JN1 0.1572 0.0717 0.2987 0.54
JN2 0.1563 0.0709 0.2972 0.53
JN3 0.1566 0.0709 0.2986 0.53
JNS(三种子平均) 0.1567 0.0712 0.2982 0.53
JK1(7 帧布局) 0.1610 0.0761 0.3018 0.24

事后探索:前馈与 Core B 的比较(未预注册)

exploratory_posthoc/feedforward_vs_coreb.* 在 ARKIT_SYSTEM3 上逐场景比较了本实验的 JN 前馈与 V3 的 Core B。两个实验的 frame_role_lock 逐字节相同,R7 的场景值差为 0。

对比(> 0 表示右边更好) 均值 95% CI 好/平/差 中位数
CORE_B − JNS_CACHE +0.0002 [−0.0017, +0.0023] 47/0/113 −0.0014
CORE_B − JN1_CACHE −0.0003 [−0.0022, +0.0018] 52/0/108 −0.0013
ZS_TTT_F7 − JNS_CACHE −0.0023 [−0.0045, +0.0001] 51/0/109 −0.0020

均值上,JN 的前馈与 Core B 打平(0.1567 对 0.1569);但逐场景看,Core B 在 71% 的场景更好。前馈每个查询不到 1 秒,Core B 的 TTT 约 50 秒。

解读

文件