EXP-3D-RGBD-DEPTHSPLAT-JEPA-BASE-TTT-ARKIT-V1:从真实数据训练的逆向 JEPA 基座出发做 TTT
结论:JEPA_BASE_HARMFUL,JEPA_TRAINING_HARMS_TTT。
- Q1: 以 ARKit 真实数据训练的逆向 JEPA(JA1)为起点做 TTT,比以发布权重为起点更差。ALL AbsRel 为 0.159 对 0.114,差值 −0.0445,好/平/差 15/0/65,HARMFUL。
- Q2: 尺度上限同为 3.0 时,JEPA 训练同样让 TTT 变差。0.159 对 0.136,差值 −0.0226,30/0/50,HARMFUL。
- 原因:
- TTT 本身在 JA 基座上依然有效:0.266 → 0.159,70/0/10,SUPPORTED。
- 问题在起点太差。JA 的 7 帧前馈状态覆盖了 97% 的有效像素,但误差很大:发布权重(上限 0.1)为 0.121,JA 为 0.266。
- 尺度上限本身也有影响。对发布权重做 TTT,上限 0.1 比 3.0 好:+0.022,70/0/10,SUPPORTED。逆向 JEPA 训练用的是 3.0(为了扩大覆盖)。
- 结论: 这个逆向 JEPA 配方没有为 TTT 提供更好的起点。Core B 目前最好的配置仍是"发布权重(上限 0.1)+ TTT + 与 7 帧重投影取几何平均"。
说明:
- 预注册: 见 PROTOCOL.md,2026-10-09 01:19:01 锁定,sha256
6441e982…。锁定时 JEPA-ARKIT-V1 还没有任何结果;JA 只用事先指定的 JA1(种子 20261008)。 - 修订 1(只改执行方式): 2026-10-09 01:33:33 记录(
audit/amendment_1.json),记录时还没有读取任何真值。- 原因:6 个 TTT 进程每个约占 7.6 GB,加上另一用户的常驻进程,GPU 4 共占 47.1 / 49.1 GB。
- 处理:01:31:48 停掉了 ZS3 的 2/3 分片。其余 5 个分片跑完后(各约 1.9 小时),这个分片用相同命令单独重跑(49 分钟)。
- 设置、代码、读出与分析都不变。被停那次的日志保留为
audit/ds_eval_ZS3_shard2.stopped.log。
- 数据: ARKIT_VAL,80 个扫描、160 个 episode、320 个查询,episode 与 EXP-3D-RGBD-ENSEMBLES-ARKIT-V1 完全相同(上下文 3 帧 + 流式帧 4 帧)。
- 复用封存: 复用了 ENSEMBLES-ARKIT 的 7 帧几何封存,以及发布权重的 CACHE / TTT 封存。复现检查中,ZS_TTT、ZS_CACHE、R7、GEO_ZS_TTT 的均值与原实验的差值都是 0。
- 执行: GPU 4 与另一用户的常驻进程共用。分析运行两次,结果逐字节相同。
- 统计: 统计单位是场景,bootstrap 10,000 次,种子 20260928,判定用 V2 gate。
结果(80 个场景)
| 编号 | 对比(> 0 表示右边更好) | 区域 | 均值 | 95% CI | 好/平/差 | 状态 |
|---|---|---|---|---|---|---|
| Q1 | ZS_TTT − JA_TTT | ALL | −0.0445 | [−0.0630, −0.0281] | 15/0/65 | HARMFUL |
| Q2 | ZS3_TTT − JA_TTT | ALL | −0.0226 | [−0.0405, −0.0069] | 30/0/50 | HARMFUL |
| S1 | GEO_ZS_TTT − GEO_JA_TTT | ALL | −0.0168 | [−0.0270, −0.0080] | 22/0/58 | HARMFUL |
| S2 | R7 − GEO_JA_TTT | ALL | −0.0119 | [−0.0219, −0.0031] | 31/0/49 | HARMFUL |
| S3 | ZS3_CACHE − JA_CACHE | ALL | −0.0121 | [−0.0419, +0.0192] | 30/0/50 | NOT_ESTABLISHED |
| S4 | JA_CACHE − JA_TTT | ALL | +0.1070 | [+0.0831, +0.1313] | 70/0/10 | SUPPORTED |
| S5 | R7 − JA_TTT | ALL | −0.0376 | [−0.0561, −0.0210] | 25/0/55 | HARMFUL |
| S6 | ZS3_TTT − ZS_TTT | ALL | +0.0219 | [+0.0143, +0.0310] | 70/0/10 | SUPPORTED |
| S7 | ZS_TTT − JA_TTT | NEAR7 | −0.0473 | [−0.0631, −0.0332] | 10/0/70 | HARMFUL |
| S8 | ZS_TTT − JA_TTT | FAR7 | −0.0493 | [−0.0837, −0.0173] | 30/0/45 | HARMFUL |
| S9 | ZS3_TTT − JA_TTT | NEAR7 | −0.0229 | [−0.0381, −0.0092] | 28/0/52 | HARMFUL |
均值(AbsRel)与覆盖率:
| 读出 | ALL | NEAR7 | FAR7 | 覆盖率 |
|---|---|---|---|---|
| R7(7 帧重投影 + 调和插值) | 0.121 | 0.076 | 0.257 | — |
| ZS_CACHE(发布权重,上限 0.1) | 0.121 | 0.076 | 0.255 | 0.73 |
| ZS_TTT | 0.114 | 0.069 | 0.254 | 0.72 |
| GEO_ZS_TTT | 0.116 | 0.071 | 0.254 | — |
| ZS3_CACHE(发布权重,上限 3.0) | 0.253 | 0.228 | 0.350 | 0.89 |
| ZS3_TTT | 0.136 | 0.093 | 0.273 | 0.78 |
| GEO_ZS3_TTT | 0.124 | 0.081 | 0.257 | — |
| JA_CACHE(JA1,上限 3.0) | 0.266 | 0.253 | 0.328 | 0.97 |
| JA_TTT | 0.159 | 0.116 | 0.304 | 0.87 |
| GEO_JA_TTT | 0.133 | 0.091 | 0.260 | — |
解读
- "逆向 JEPA 为 TTT 提供更好的起点"这条连接在本配方下被否定了。 不论对比发布权重的哪种尺度上限,以 JA 为起点的 TTT 都更差。在几乎所有场景上都是如此(Q1 有 65/80 个场景更差)。
- 起点的质量决定了 TTT 的终点。
- TTT 只有 100 步,能大幅修正起点:JA 从 0.266 降到 0.159,ZS3 从 0.253 降到 0.136。
- 但它修不回起点的差距。发布权重在上限 0.1 时的起点(0.121)本来就接近 7 帧重投影,TTT 之后最好(0.114)。
- 尺度上限是关键因素之一。
- 上限 3.0 让高斯变大、覆盖率上升,但前馈深度变差,TTT 之后也更差(S6)。
- JEPA 训练为了扩大覆盖而采用上限 3.0,而且训练把覆盖率推得更高(0.89 → 0.97),这与 TTT 的需要正好相反。
- 对后续的含义: 如果要用逆向 JEPA 改进 TTT 的起点,训练应在上限 0.1 下进行,并以"7 帧前馈状态的精度"而不是覆盖率为目标。另外,有重叠的目标是否能让训练更有用,见 EXP-3D-RGBD-DEPTHSPLAT-JEPA-ARKIT-OVERLAP-V1。
文件
PROTOCOL.md(末尾追加了修订 1)、preregistration.json、frame_role_lock.json(复制自 ENSEMBLES-ARKIT)、reused_seals.jsoncode/:建目录、锁定、任务与打分脚本ds/ARKIT_VAL/JA、ds/ARKIT_VAL/ZS3:新的 DepthSplat 封存(CACHE、TTT_m1)scores/、results/audit/:修订 1、执行说明、被停分片的日志与重跑日志