Source: docs/experiments/EXP-3D-RGBD-DEPTHSPLAT-JEPA-OBJECTIVE-TTT-ARKIT-V1/README.md · Plain text

EXP-3D-RGBD-DEPTHSPLAT-JEPA-OBJECTIVE-TTT-ARKIT-V1:只奖励精度的逆向 JEPA 能否改进 TTT

结论:JN_TTT_NOT_ESTABLISHED,JK_HARMS_TTT。

说明:

训练中的 DEV 读数

DEV 为 ARKit 训练折的 8 个扫描、第 14、15 帧,3 帧上下文,上限 0.1,只作记录,不用于任何选择。表中为被覆盖像素 AbsRel / 覆盖率。

步数 0 500 1000 2000 3000 4000
JC(原目标,参考) 0.214 / 0.19 0.318 / 0.26 0.326 / 0.27 0.324 / 0.28 0.324 / 0.27 0.323 / 0.27
JN(只奖励精度) 0.214 / 0.19 0.230 / 0.16 0.217 / 0.12 0.234 / 0.11 0.237 / 0.10 0.236 / 0.10
JK(只奖励精度 + 7 帧布局) 0.214 / 0.19 0.254 / 0.07 0.237 / 0.06 0.142 / 0.02 0.159 / 0.03 0.147 / 0.03

结果(80 个场景)

编号 对比(> 0 表示右边更好) 区域 均值 95% CI 好/平/差 中位数 状态
P1 ZS_TTT − JN_TTT ALL −0.0008 [−0.0032, +0.0016] 30/0/50 −0.0005 NOT_ESTABLISHED
P2 ZS_TTT − JK_TTT ALL −0.0038 [−0.0069, −0.0006] 24/0/56 −0.0020 HARMFUL
S1 JC_TTT − JN_TTT ALL +0.0062 [−0.0003, +0.0131] 52/0/28 +0.0038 NOT_ESTABLISHED
S2 JN_TTT − JK_TTT ALL −0.0029 [−0.0055, −0.0003] 23/0/57 −0.0013 HARMFUL
S3 ZS_CACHE − JN_CACHE ALL +0.0036 [+0.0009, +0.0062] 60/0/20 +0.0027 SUPPORTED
S4 ZS_CACHE − JK_CACHE ALL +0.0026 [+0.0001, +0.0054] 48/0/32 +0.0019 PARTIAL
S5 GEO_ZS_TTT − GEO_JK_TTT ALL −0.0018 [−0.0035, −0.0002] 23/0/57 −0.0012 HARMFUL
S6 GEO_ZS_TTT − GEO_JN_TTT ALL −0.0006 [−0.0018, +0.0005] 27/0/53 −0.0003 NOT_ESTABLISHED
S7 ZS_TTT − JK_TTT NEAR7 −0.0043 [−0.0076, −0.0007] 24/0/56 −0.0023 HARMFUL
S8 ZS_TTT − JK_TTT FAR7 −0.0015 [−0.0049, +0.0017] 32/7/36 +0.0000 NOT_ESTABLISHED

均值与覆盖率:

构建器(尺度上限) CACHE 覆盖率 TTT 覆盖率 GEO(与 R7) CACHE NEAR7 TTT NEAR7
ZS(发布权重,0.1) 0.1208 0.73 0.1141 0.72 0.1161 0.0764 0.0685
JN(只奖励精度,0.1) 0.1172 0.55 0.1149 0.70 0.1167 0.0718 0.0694
JK(只奖励精度 + 7 帧布局,0.1) 0.1182 0.26 0.1178 0.64 0.1179 0.0727 0.0728
JC(原目标,0.1) 0.1725 0.88 0.1211 0.84 0.1161 0.1374 0.0790
ZS3(发布权重,3.0) 0.2534 0.89 0.1360 0.78 0.1239 0.2279 0.0929
JA(原目标,3.0) 0.2655 0.97 0.1586 0.87 0.1328 0.2528 0.1158

R7(7 帧重投影 + 调和插值):ALL 0.1209,NEAR7 0.0757,FAR7 0.2567。FAR7 中,上限 0.1 的各构建器 TTT 后都与 R7 相近(0.253–0.257)。

解读

文件