# EXP-3D-RGBD-DEPTHSPLAT-JEPA-BASE-TTT-ARKIT-V1:从真实数据训练的逆向 JEPA 基座出发做 TTT **结论:JEPA_BASE_HARMFUL,JEPA_TRAINING_HARMS_TTT。** - **Q1:** 以 ARKit 真实数据训练的逆向 JEPA(JA1)为起点做 TTT,比以发布权重为起点更差。ALL AbsRel 为 0.159 对 0.114,差值 −0.0445,好/平/差 15/0/65,HARMFUL。 - **Q2:** 尺度上限同为 3.0 时,JEPA 训练同样让 TTT 变差。0.159 对 0.136,差值 −0.0226,30/0/50,HARMFUL。 - **原因:** - TTT 本身在 JA 基座上依然有效:0.266 → 0.159,70/0/10,SUPPORTED。 - 问题在起点太差。JA 的 7 帧前馈状态覆盖了 97% 的有效像素,但误差很大:发布权重(上限 0.1)为 0.121,JA 为 0.266。 - 尺度上限本身也有影响。对发布权重做 TTT,上限 0.1 比 3.0 好:+0.022,70/0/10,SUPPORTED。逆向 JEPA 训练用的是 3.0(为了扩大覆盖)。 - **结论:** 这个逆向 JEPA 配方没有为 TTT 提供更好的起点。Core B 目前最好的配置仍是"发布权重(上限 0.1)+ TTT + 与 7 帧重投影取几何平均"。 **说明:** - **预注册:** 见 [PROTOCOL.md](PROTOCOL.md),2026-10-09 01:19:01 锁定,sha256 `6441e982…`。锁定时 JEPA-ARKIT-V1 还没有任何结果;JA 只用事先指定的 JA1(种子 20261008)。 - **修订 1(只改执行方式):** 2026-10-09 01:33:33 记录(`audit/amendment_1.json`),记录时还没有读取任何真值。 - 原因:6 个 TTT 进程每个约占 7.6 GB,加上另一用户的常驻进程,GPU 4 共占 47.1 / 49.1 GB。 - 处理:01:31:48 停掉了 ZS3 的 2/3 分片。其余 5 个分片跑完后(各约 1.9 小时),这个分片用相同命令单独重跑(49 分钟)。 - 设置、代码、读出与分析都不变。被停那次的日志保留为 `audit/ds_eval_ZS3_shard2.stopped.log`。 - **数据:** ARKIT_VAL,80 个扫描、160 个 episode、320 个查询,episode 与 EXP-3D-RGBD-ENSEMBLES-ARKIT-V1 完全相同(上下文 3 帧 + 流式帧 4 帧)。 - **复用封存:** 复用了 ENSEMBLES-ARKIT 的 7 帧几何封存,以及发布权重的 CACHE / TTT 封存。复现检查中,ZS_TTT、ZS_CACHE、R7、GEO_ZS_TTT 的均值与原实验的差值都是 0。 - **执行:** GPU 4 与另一用户的常驻进程共用。分析运行两次,结果逐字节相同。 - **统计:** 统计单位是场景,bootstrap 10,000 次,种子 20260928,判定用 V2 gate。 ## 结果(80 个场景) | 编号 | 对比(> 0 表示右边更好) | 区域 | 均值 | 95% CI | 好/平/差 | 状态 | | --- | --- | --- | ---: | --- | --- | --- | | **Q1** | ZS_TTT − JA_TTT | ALL | −0.0445 | [−0.0630, −0.0281] | 15/0/65 | **HARMFUL** | | **Q2** | ZS3_TTT − JA_TTT | ALL | −0.0226 | [−0.0405, −0.0069] | 30/0/50 | **HARMFUL** | | S1 | GEO_ZS_TTT − GEO_JA_TTT | ALL | −0.0168 | [−0.0270, −0.0080] | 22/0/58 | HARMFUL | | S2 | R7 − GEO_JA_TTT | ALL | −0.0119 | [−0.0219, −0.0031] | 31/0/49 | HARMFUL | | S3 | ZS3_CACHE − JA_CACHE | ALL | −0.0121 | [−0.0419, +0.0192] | 30/0/50 | NOT_ESTABLISHED | | S4 | JA_CACHE − JA_TTT | ALL | +0.1070 | [+0.0831, +0.1313] | 70/0/10 | SUPPORTED | | S5 | R7 − JA_TTT | ALL | −0.0376 | [−0.0561, −0.0210] | 25/0/55 | HARMFUL | | S6 | ZS3_TTT − ZS_TTT | ALL | +0.0219 | [+0.0143, +0.0310] | 70/0/10 | SUPPORTED | | S7 | ZS_TTT − JA_TTT | NEAR7 | −0.0473 | [−0.0631, −0.0332] | 10/0/70 | HARMFUL | | S8 | ZS_TTT − JA_TTT | FAR7 | −0.0493 | [−0.0837, −0.0173] | 30/0/45 | HARMFUL | | S9 | ZS3_TTT − JA_TTT | NEAR7 | −0.0229 | [−0.0381, −0.0092] | 28/0/52 | HARMFUL | **均值(AbsRel)与覆盖率:** | 读出 | ALL | NEAR7 | FAR7 | 覆盖率 | | --- | ---: | ---: | ---: | ---: | | R7(7 帧重投影 + 调和插值) | 0.121 | 0.076 | 0.257 | — | | ZS_CACHE(发布权重,上限 0.1) | 0.121 | 0.076 | 0.255 | 0.73 | | **ZS_TTT** | **0.114** | **0.069** | 0.254 | 0.72 | | GEO_ZS_TTT | 0.116 | 0.071 | 0.254 | — | | ZS3_CACHE(发布权重,上限 3.0) | 0.253 | 0.228 | 0.350 | 0.89 | | ZS3_TTT | 0.136 | 0.093 | 0.273 | 0.78 | | GEO_ZS3_TTT | 0.124 | 0.081 | 0.257 | — | | JA_CACHE(JA1,上限 3.0) | 0.266 | 0.253 | 0.328 | 0.97 | | JA_TTT | 0.159 | 0.116 | 0.304 | 0.87 | | GEO_JA_TTT | 0.133 | 0.091 | 0.260 | — | ## 解读 - **"逆向 JEPA 为 TTT 提供更好的起点"这条连接在本配方下被否定了。** 不论对比发布权重的哪种尺度上限,以 JA 为起点的 TTT 都更差。在几乎所有场景上都是如此(Q1 有 65/80 个场景更差)。 - **起点的质量决定了 TTT 的终点。** - TTT 只有 100 步,能大幅修正起点:JA 从 0.266 降到 0.159,ZS3 从 0.253 降到 0.136。 - 但它修不回起点的差距。发布权重在上限 0.1 时的起点(0.121)本来就接近 7 帧重投影,TTT 之后最好(0.114)。 - **尺度上限是关键因素之一。** - 上限 3.0 让高斯变大、覆盖率上升,但前馈深度变差,TTT 之后也更差(S6)。 - JEPA 训练为了扩大覆盖而采用上限 3.0,而且训练把覆盖率推得更高(0.89 → 0.97),这与 TTT 的需要正好相反。 - **对后续的含义:** 如果要用逆向 JEPA 改进 TTT 的起点,训练应在上限 0.1 下进行,并以"7 帧前馈状态的精度"而不是覆盖率为目标。另外,有重叠的目标是否能让训练更有用,见 EXP-3D-RGBD-DEPTHSPLAT-JEPA-ARKIT-OVERLAP-V1。 ## 文件 - `PROTOCOL.md`(末尾追加了修订 1)、`preregistration.json`、`frame_role_lock.json`(复制自 ENSEMBLES-ARKIT)、`reused_seals.json` - `code/`:建目录、锁定、任务与打分脚本 - `ds/ARKIT_VAL/JA`、`ds/ARKIT_VAL/ZS3`:新的 DepthSplat 封存(CACHE、TTT_m1) - `scores/`、`results/` - `audit/`:修订 1、执行说明、被停分片的日志与重跑日志