# EXP-3D-RGBD-DEPTHSPLAT-JEPA-ARKIT-OVERLAP-V1：重叠感知的真实数据逆向 JEPA

**结论：OVERLAP_JEPA_PARTIAL，OVERLAP_TRAINING_NOT_ESTABLISHED。**

- **在有重叠的新查询上，平均改善明显，但不一致（O1，PARTIAL）。**
    - 查询改为与上下文部分重叠的第 6、7 帧后，真实数据训练的逆向 JEPA 在 FAR 上平均明显好于调和插值：AbsRel 从 0.452 降到 0.341，约 −24%。
    - 但只有 54% 的场景变好（80/0/67），中位数只有 +0.005。逐一剔除场景后均值都为正，最大单场景贡献 0.057；O1 只差"≥ 75% 场景不变差"这一项。
- **重叠感知训练没有带来额外收益（O2，NOT_ESTABLISHED）。** 原配方训练的 JA 在同样的查询上是 0.337，与 JO 打平。原配方的训练目标里，本来就有约 57% 与上下文有重叠（命中比例 ≥ 0.05）。
- **其他结论：**
    - 真实数据训练比合成数据训练好：Hypersim 训练的 J 是 0.407，对比调和插值不成立。
    - 但真实数据训练只追平了旧基座。Hypersim 训练的小载体 G1（归一化读出）是 0.344，均值与 JO 打平。JO 在 96/147 个场景更好（中位数 +0.028），但少数场景差得多。
    - 把 JO 与调和插值取平均（HJO）更一致：65% 的场景变好，中位数 +0.016，但仍是 PARTIAL。
- **与 JEPA-ARKIT-V1 合起来看：**
    - 在重叠较多的近处视角（第 6、7 帧）上，学到的补全平均能带来约 1/4 的误差下降。
    - 在重叠很少的远处视角（第 14、15 帧中有命中的查询）上，它与调和插值打平。
    - 两种情况都过不了一致性门槛。

**说明：**

- **预注册：** 见 [PROTOCOL.md](PROTOCOL.md)，2026-10-09 01:19:13 锁定，sha256 `27d25dd4…`。锁定时 JEPA-ARKIT-V1 还没有任何结果。
- **训练（JO1–JO3）：** 沿用 JEPA-ARKIT-V1 的配方，只改一处：目标帧只从上下文命中比例 ≥ 0.05 的帧中抽取（4732 个帧对中有 2697 个合格，364 个"记录 × 角色"中有 356 个至少有 2 个合格帧）。每个种子 1.6 小时，6.2 GB。
- **评估：** ARKIT160_OVERLAP，即 ARKIT160 的 160 个扫描。
    - 查询为第 6、7 帧，它们从未被评估过，也从未作为输入；只有 1 个记录因冲突顺延为 [7, 9]。
    - 640 个查询中有 122 个没有上下文命中。147 个场景有 FARH 像素。
- **执行：**
    - arms 封存在 CPU 上于 01:19 开始。原任务链在 01:33:45 被替换，封存恰好在同一秒完成，640 个哈希都已核对。
    - GPU 部分排在 EXP-3D-RGBD-DEPTHSPLAT-JEPA-BASE-TTT-ARKIT-V1 之后，04:10 开始。见 `audit/execution_note.txt`。
    - 分析运行两次，结果逐字节相同。
- **统计：** 统计单位是场景，bootstrap 10,000 次，种子 20260928，判定用 V2 gate。

## 训练

DEV 读数取 ARKit 训练折的 8 个扫描、第 14、15 帧（与 JA 相同，只作记录），格式为"被覆盖像素 AbsRel / 覆盖率"：

| 步数 | 0 | 1000 | 2000 | 3000 | 4000 |
| --- | --- | --- | --- | --- | --- |
| JO1 | 0.329 / 0.23 | 0.438 / 0.44 | 0.407 / 0.50 | 0.452 / 0.53 | 0.435 / 0.53 |
| JO2 | 0.329 / 0.23 | 0.391 / 0.44 | 0.455 / 0.55 | 0.471 / 0.52 | 0.472 / 0.54 |
| JO3 | 0.329 / 0.23 | 0.451 / 0.48 | 0.465 / 0.53 | 0.466 / 0.55 | 0.463 / 0.52 |

训练损失明显低于 JA（深度项约 0.15，JA 为 0.35–0.45），因为目标都与上下文有重叠。

## 结果

FARH 指有上下文命中的查询中的 FAR 区域，共 147 个场景。

| 编号 | 对比（> 0 表示右边更好） | 区域 | 均值 | 95% CI | 好/平/差 | 中位数 | 状态 |
| --- | --- | --- | ---: | --- | --- | ---: | --- |
| **O1** | H3 − JO | FARH | +0.1101 | [+0.0613, +0.1623] | 80/0/67 | +0.005 | **PARTIAL** |
| **O2** | JA − JO | FARH | −0.0047 | [−0.0319, +0.0195] | 79/0/68 | +0.003 | **NOT_ESTABLISHED** |
| S1 | H3 − JA | FARH | +0.1148 | [+0.0595, +0.1729] | 75/0/72 | +0.002 | PARTIAL |
| S2 | H3 − J | FARH | +0.0442 | [−0.0011, +0.0957] | 69/0/78 | −0.001 | NOT_ESTABLISHED |
| S3 | ZS3 − JO | FARH | +0.0955 | [+0.0476, +0.1457] | 75/0/72 | +0.002 | PARTIAL |
| S4 | H3 − HGN | FARH | +0.0918 | [+0.0596, +0.1263] | 86/0/61 | +0.009 | PARTIAL |
| S5 | H3 − HJO | FARH | +0.0775 | [+0.0506, +0.1061] | 95/0/52 | +0.016 | PARTIAL |
| S6 | H3 − JO | NEAR（153 场景） | +0.0293 | [+0.0020, +0.0590] | 54/0/99 | −0.005 | PARTIAL |
| S7 | H3CAL − JO_CAL | FAR，全部查询（155 场景） | +0.0792 | [+0.0374, +0.1242] | 83/0/72 | +0.003 | PARTIAL |
| S8 | G1N − JO | FARH | +0.0023 | [−0.0426, +0.0417] | 96/0/51 | +0.028 | NOT_ESTABLISHED |

**FARH 均值与覆盖率：**

| 读出 | FARH AbsRel | FARH 覆盖率 |
| --- | ---: | ---: |
| H3（调和插值） | 0.452 | — |
| ZS3（发布权重，上限 3.0） | 0.437 | 0.17 |
| J（Hypersim 训练） | 0.407 | 0.61 |
| JA（ARKit，原配方） | 0.337 | 0.80 |
| **JO（ARKit，重叠感知）** | **0.341** | **0.80** |
| G1N（旧基座，Hypersim） | 0.344 | — |
| HGN | 0.360 | — |
| HJO | 0.374 | — |

- **按来源队列：** FARH 上 H3 → JO，ARKIT_VAL 为 0.471 → 0.354，ARKIT_CONFIRM 为 0.431 → 0.328，两个队列方向一致。
- **全部查询的 FAR**（含 122 个无命中的查询）：H3 0.614，H3CAL 0.430，JO 0.454，JO_CAL 0.351。
- **NEAR：** H3 0.143，JO 0.114。

## 解读

- **学到的补全在真实数据上"平均有效、逐场景不稳"。**
    - 在部分可见的视角上，三种学到的补全都把 FAR 误差从 0.45 降到约 0.34：ARKit 训练的 JO、JA，以及 Hypersim 训练的小载体 G1N。
    - 但改善集中在一部分场景，中位场景几乎不变。这与 Hypersim 上旧载体（V17、V18）的情形一样：均值改善，约 2/3 的场景变好，过不了一致性门槛。
- **训练数据的作用：**
    - 用真实数据训练，DepthSplat-JEPA 从 0.407（Hypersim 训练）提升到 0.34，这是真实数据训练的实际收益。
    - 但只追平了一个 6.4 万参数、在 Hypersim 上训练的小载体。
    - 只在有重叠的目标上训练，没有额外收益。
- **重叠决定了补全能做多少。** 与 JEPA-ARKIT-V1 合起来看：近处视角（第 6、7 帧）上学到的补全平均降约 1/4 的误差；远处视角（第 14、15 帧）即使有命中，也与调和插值打平；完全无重叠时，只能学到"室内大概多深"。
- **下一步应关注一致性而不是均值。** 例如：
    - 弃权：只在模型有把握的像素上使用学到的补全；
    - 与调和插值集成：HJO 已经把一致性从 54% 提到 65%；
    - 弄清哪些场景会变差。

## 文件

- `PROTOCOL.md`、`preregistration.json`、`frame_role_lock.json`、`evaluation_contract.json`、`manifest_arkit160_overlap.json`
- `hit_shares_ARKIT160.json`：评估记录的命中表，仅供参考
- `training/hit_shares_TRAIN.json`：训练用的命中表
- `code/`：
    - `train_jepa_arkit_overlap.py`，由 `derive_train_overlap.py` 生成
    - 建目录、锁定、任务和打分脚本，以及 `hit_share_table.py`
- `checkpoints/JO1–JO3/`（含 `SHA256SUMS`）
- `raw/eval/ARKIT160_OVERLAP/`：arms 封存
- `ds/ARKIT160_OVERLAP/`：JO1–3、JA1–3、J1–3、ZS3 的 DepthSplat 封存
- `scores/`、`results/`、`audit/`

## 事后探索：一致性门控（探索性，样本内）

`exploratory_posthoc/gating_explore.*` 在同一批封存和真值上（FARH，147 个场景）比较了几种组合，所有组合在不满足条件的像素上都回退到 H3：

| 变体 | FARH AbsRel | 采用学习预测的像素比例 | H3 − X | 好/平/差 |
| --- | ---: | ---: | ---: | --- |
| JO（预注册读出） | 0.341 | 0.80 | +0.110 | 80/0/67 |
| HJO（与调和插值平均） | 0.374 | 0.80 | +0.078 | 95/0/52 |
| HJOG（H3、JO、G1N 三者平均） | 0.329 | 0.96 | +0.123 | 90/0/57 |
| JO 与 G1N 平均 | 0.301 | 0.97 | +0.150 | 79/0/68 |
| JO 种子一致（相对极差 ≤ 0.10） | 0.369 | 0.57 | +0.083 | 78/1/68 |
| JO 与 G1N 一致（相对差 ≤ 0.20） | 0.408 | 0.35 | +0.043 | 78/2/67 |

- **门控没有提高一致性。** 不论按种子一致性还是按两种独立模型一致性筛选像素，变好的场景都在 50–55% 之间。不一致不是像素级的不确定，而是场景级的：约 45% 的场景里，任何学到的补全都不如调和插值。
- **两种独立模型取平均最有效，但只体现在均值上。** JO 与 G1N 取平均把均值降到 0.301（约 −33%），但一致性不变。
- 以上是样本内的探索，没有用于任何预注册判定。