EXP-3D-RGBD-DEPTHSPLAT-JEPA-ARKIT-OVERLAP-V1：重叠感知的真实数据逆向 JEPA
本文件即预注册。锁定时间与哈希见 preregistration.json。
1. 问题
在 ARKit 训练折上做的诊断（只读训练数据，见 EXP-3D-RGBD-DEPTHSPLAT-JEPA-ARKIT-V1 的修订 1，以及下面的命中表）发现：
- 重叠随帧距离迅速消失。 每条记录有 16 帧，上下文是第 0–4 帧中的 3 帧。从第 9 帧起，约 45% 的帧与上下文没有一个像素重叠；所有非上下文帧中，34% 完全无重叠。
- 因此原训练配方的信号多半是"猜没见过的视角"。 JEPA-ARKIT-V1 的训练目标从 13 个非上下文帧中均匀抽取，相当一部分目标根本无法补全。
- 原评估也是如此。 原评估的查询（第 14、15 帧）约一半没有重叠。
这一设计在 JEPA-ARKIT-V1 的任何评估结果出来之前写定。它回答两个问题：
- 只在有重叠的目标上训练的逆向 JEPA（JO），在有重叠的查询上，能否稳定胜过调和插值？
- 与原配方训练的 JA 相比，重叠感知训练是否更好？
2. 数据
- 训练： 与 JEPA-ARKIT-V1 相同，ARKitScenes 训练折为训练保留的场馆，TRAIN 182 个扫描、DEV 8 个扫描。
- 命中表（
training/hit_shares_TRAIN.json）：对每条 TRAIN 记录、每个上下文角色、每个非上下文帧，记录 3 个上下文帧的测得深度经 1 像素 z-buffer 重投影后命中该帧像素的比例。只用上下文深度与目标相机，不读目标深度。 - 合格目标： 命中比例 ≥ 0.05，约占全部帧对的一半。
- 命中表（
- 评估： ARKIT160_OVERLAP，即 ARKIT160 的 160 个扫描（ARKIT_VAL80 + ARKIT_CONFIRM80），共 320 个 episode、640 个查询。
- 查询改为第 6、7 帧。它们在上下文（第 0–4 帧）与旧查询（第 14、15 帧）之间，从未被任何实验评估过，也从未作为任何模型的输入（Core B 的流式帧是第 5、8、10、13 帧）。
- 若记录把其中一帧用作上下文帧、旧查询帧或 ARKIT_VAL 的流式帧，就按 9、11、12 的顺序顺延（
code/overlap_make_root.py会打印这些记录）。 - 评估记录的命中表（
hit_shares_ARKIT160.json，同样不读目标深度）显示，第 6、7 帧的命中比例中位数约为 0.48 和 0.26。
- episode： 记录 × 角色；上下文 = 角色的 3 帧；查询 = 上述两帧；无流式帧。
- 许可： 只用于非商业研究，媒体在 git 之外。
3. 模型
- JO1–JO3（本实验训练）：
code/train_jepa_arkit_overlap.py。- 它由 JEPA-ARKIT-V1 的
train_jepa_arkit.py经code/derive_train_overlap.py逐字替换生成，唯一改动是目标只从合格帧中抽取；若某条记录的某个角色合格帧少于 2 个，就重抽记录与角色。 - 其余与 JA 完全相同：种子 20261008–10，4000 步，学习率 5e-6（ViT 5e-7），预热 200 步后余弦衰减，AdamW（weight decay 1e-4），梯度裁剪 1.0；每步 2 个目标帧；损失 = 原始渲染深度相对 L1 + 0.5 × RGB L1；尺度上限 3.0，注入测得深度；使用最后一步。
- 它由 JEPA-ARKIT-V1 的
- 对照：
- JA1–JA3：JEPA-ARKIT-V1，原配方，ARKit 训练；
- J1–J3：V1，Hypersim 训练；
- ZS3：发布权重，尺度上限 3.0；
- G1：V21 的旧载体，3 个种子，用归一化、会弃权的读出。
- 评估方式： 都用 V1 锁定的
ds_eval.py，只跑 CTX（3 个上下文视角），尺度上限 3.0。
4. 读出与区域
- H3： REPROJ_HARMONIC。
- H3CAL： JEPA-ARKIT-V1 修订 1 的训练折校准，即无命中的查询整张图取 1.05 m，其余为 H3。
- JO、JA、J： 在至少 2 个种子覆盖（α ≥ 0.5）的像素上，取覆盖种子的平均射线深度 (depth_z / α) / cos，其余用 H3。ZS3 只有一个模型，α ≥ 0.5 处取其射线深度，其余用 H3。
- G1N： 每个 G1 种子在不透明度 ≥ 0.5 处取 深度 / 不透明度，其余用 H3，再对种子平均。HGN = (H3 + G1N) / 2。
- 集成与校准变体：
- HJO：JO 覆盖处为 (H3 + JO) / 2，其余为 H3；
- JO_CAL：JO 覆盖处取 JO，其余取 H3CAL。
- 区域：
- FARH（主区域）：至少有一个上下文命中的查询（即 NEAR 非空，不需要真值就能确定）中，NEAR 之外的有效像素；
- FAR：所有查询的 NEAR 之外；
- NEAR。
- 指标： AbsRel。场景值 = 各角色查询平均后再对角色平均，空区域跳过。
5. 主检验
主检验用 V2 gate；统计用场景 bootstrap，10,000 次，种子 20260928。
| 编号 | 对比（> 0 表示右边更好） | 区域 | 分支 |
|---|---|---|---|
| O1 | H3 − JO | FARH | OVERLAP_JEPA_BEATS_HARMONIC（SUPPORTED）/ _PARTIAL / _NOT_ESTABLISHED / _HARMFUL |
| O2 | JA − JO | FARH | OVERLAP_TRAINING_HELPS（SUPPORTED）/ _PARTIAL / _NOT_ESTABLISHED / _HARMFUL |
6. 次要分析（只给标签）
| 编号 | 对比 | 区域 | 含义 |
|---|---|---|---|
| S1 | H3 − JA | FARH | 原配方在有重叠的查询上 |
| S2 | H3 − J | FARH | Hypersim 训练的 J |
| S3 | ZS3 − JO | FARH | 同一尺度上限下的训练收益 |
| S4 | H3 − HGN | FARH | 归一化 G1 集成 |
| S5 | H3 − HJO | FARH | JO 与调和插值的集成 |
| S6 | H3 − JO | NEAR | |
| S7 | H3CAL − JO_CAL | FAR（全部查询） | 对比校准基线 |
| S8 | G1N − JO | FARH |
另外报告各构建器在 FARH 上的覆盖率，以及按来源队列分别给出的均值。
7. 完整性与局限
- 完整性：
- 读真值之前，arms 封存与 JO1–3、JA1–3、J1–3、ZS3 的 DepthSplat 封存都必须完整，哈希不变。
- 分析跑两次，结果文件必须逐字节相同。
- 训练中任何一个种子失败，整个运行停止并如实报告。
- 局限：
- 评估扫描与 JEPA-ARKIT-V1 相同，只是查询帧是全新的。场馆层面不是全新的。
- 训练数据只有约 200 个扫描。
- 真值是 iPad LiDAR 的测量。