Source: docs/experiments/EXP-3D-RGBD-DEPTHSPLAT-JEPA-CAP01-TTT-ARKIT-V1/README.md · Plain text

EXP-3D-RGBD-DEPTHSPLAT-JEPA-CAP01-TTT-ARKIT-V1:在 TTT 的尺度上限下训练逆向 JEPA,能否改进 TTT

结论:JEPA_CAP01_HARMS_TTT,JEPA_CAP01_HARMS_CACHE。

说明:

训练中的 DEV 读数

DEV 为 ARKit 训练折的 8 个扫描、第 14、15 帧,上限 0.1,只作记录。

步数 0 500 1000 2000 3000 4000
被覆盖像素 AbsRel / 覆盖率 0.214 / 0.19 0.318 / 0.26 0.326 / 0.27 0.324 / 0.28 0.324 / 0.27 0.323 / 0.27

结果(ALL,80 个场景)

编号 对比(> 0 表示右边更好) 区域 均值 95% CI 好/平/差 中位数 状态
P1 ZS_TTT − JC_TTT ALL −0.0070 [−0.0141, −0.0001] 24/0/56 −0.004 HARMFUL
P2 ZS_CACHE − JC_CACHE ALL −0.0517 [−0.0736, −0.0341] 5/0/75 −0.029 HARMFUL
S1 GEO_ZS_TTT − GEO_JC_TTT ALL −0.0001 [−0.0041, +0.0042] 30/0/50 −0.001 NOT_ESTABLISHED
S2 R7 − GEO_JC_TTT ALL +0.0048 [+0.0003, +0.0096] 47/0/33 +0.001 PARTIAL
S3 JC_CACHE − JC_TTT ALL +0.0514 [+0.0372, +0.0689] 74/0/6 +0.030 SUPPORTED
S4 JA_TTT − JC_TTT ALL +0.0375 [+0.0196, +0.0576] 55/0/25 +0.015 PARTIAL
S5 ZS_TTT − JC_TTT NEAR7 −0.0105 [−0.0178, −0.0028] 18/0/62 −0.007 HARMFUL
S6 ZS_TTT − JC_TTT FAR7 +0.0013 [−0.0098, +0.0114] 43/2/30 +0.002 NOT_ESTABLISHED

ALL 均值与覆盖率:

构建器(尺度上限) CACHE 覆盖率 TTT 覆盖率 GEO(与 R7)
ZS(发布权重,0.1) 0.121 0.73 0.114 0.72 0.116
JC(逆向 JEPA,0.1) 0.173 0.88 0.121 0.84 0.116
ZS3(发布权重,3.0) 0.253 0.89 0.136 0.78 0.124
JA(逆向 JEPA,3.0) 0.266 0.97 0.159 0.87 0.133

R7(7 帧重投影 + 调和插值)为 0.121。

解读

文件