Source: docs/experiments/EXP-3D-RGBD-DEPTHSPLAT-JEPA-NORM-SCALE-ARKIT-V1/README.md · Plain text

EXP-3D-RGBD-DEPTHSPLAT-JEPA-NORM-SCALE-ARKIT-V1:更多真实训练数据能否放大逆向 JEPA 的前馈改进

结论:MORE_DATA_NOT_ESTABLISHED,SCALED_RECIPE_FEEDFORWARD_PARTIAL。训练数据从 182 个扫描增加到 502 个,前馈结果没有任何变化。

说明:

训练中的 DEV 读数

DEV 为 ARKit 训练折的 8 个扫描、第 14、15 帧,3 帧上下文,只作记录。表中为被覆盖像素 AbsRel / 覆盖率。

步数 0 500 1000 2000 3000 4000
JL1 0.214 / 0.19 0.217 / 0.18 0.218 / 0.13 0.229 / 0.13 0.222 / 0.11 0.222 / 0.11
JL2 0.214 / 0.19 0.217 / 0.19 0.228 / 0.16 0.236 / 0.12 0.238 / 0.10 0.240 / 0.10
JL3 0.214 / 0.19 0.223 / 0.18 0.225 / 0.14 0.246 / 0.10 0.262 / 0.11 0.264 / 0.11

结果

编号 对比(> 0 表示右边更好) 队列与区域 均值 95% CI 好/平/差 中位数 状态
P1 JNS_CACHE − JLS_CACHE SYSTEM3,ALL −0.0000 [−0.0014, +0.0012] 82/0/78 +0.0000 NOT_ESTABLISHED
P2 ZS_CACHE − JLS_CACHE SYSTEM3,ALL +0.0041 [+0.0018, +0.0070] 111/0/49 +0.0019 PARTIAL
S1 JNS_CACHE − JLS_CACHE VAL,ALL −0.0002 [−0.0015, +0.0010] 44/0/36 +0.0001 NOT_ESTABLISHED
S2 ZS_CACHE − JLS_CACHE VAL,ALL +0.0039 [+0.0017, +0.0061] 58/0/22 +0.0025 PARTIAL
S3 R7 − JLS_CACHE SYSTEM3,ALL +0.0063 [+0.0034, +0.0096] 98/0/62 +0.0010 PARTIAL
S4 CORE_B − JLS_CACHE SYSTEM3,ALL +0.0002 [−0.0014, +0.0019] 51/0/109 −0.0013 NOT_ESTABLISHED
S5 JNS_CACHE − JLS_CACHE SYSTEM3,NEAR7 +0.0003 [−0.0010, +0.0016] 86/0/74 +0.0001 NOT_ESTABLISHED
S6 JNS_CACHE − JLS_CACHE SYSTEM3,FAR7 −0.0006 [−0.0019, +0.0007] 65/25/67 +0.0000 NOT_ESTABLISHED
S7 ZS_CACHE − JL1_CACHE SYSTEM3,ALL +0.0046 [+0.0020, +0.0081] 113/0/47 +0.0020 PARTIAL
S8 ZS_CACHE − JL2_CACHE SYSTEM3,ALL +0.0035 [+0.0015, +0.0055] 107/0/53 +0.0019 PARTIAL
S9 ZS_CACHE − JL3_CACHE SYSTEM3,ALL +0.0042 [+0.0015, +0.0077] 107/0/53 +0.0022 PARTIAL

均值(ALL AbsRel)与覆盖率:

读出 SYSTEM3(160) 覆盖率 VAL(80) 覆盖率
R7(无模型) 0.1630 — 0.1209 —
ZS(发布权重,前馈) 0.1608 0.72 0.1208 0.73
JN1 / JN2 / JN3 0.1572 / 0.1563 / 0.1566 0.1172 / 0.1160 / 0.1169
JNS(182 个扫描,三种子平均) 0.1567 0.53 0.1167 0.54
JL1 / JL2 / JL3 0.1562 / 0.1573 / 0.1566 0.1170 / 0.1180 / 0.1159
JLS(502 个扫描,三种子平均) 0.1567 0.58 0.1169 0.59
CORE_B(发布权重 + TTT + 与 R7 集成,参照) 0.1569 0.1161

解读

文件