# EXP-3D-CAJU3D-JEPAGATE-V1 预注册协议（CAJU-3D 第二步：JEPA 潜空间创新能否挑出更值得排除的测量）

## 0. 背景

- **第一步的结论**：第一步（EXP-3D-CAJU3D-ENGINE-V1）停在开发集。方案中不需要学习的引擎机制都没有超过 Core B（发布版权重 + 原始 TTT）。
- **第二步只检验 JEPA**：方案的核心假设是"逆向 JEPA 的结构预测能把视角伪影残差和真实几何误差分开，从而防止残差误判"。为了单独检验这一点，第二步以 Core B 为底座，只改一件事：每个片段从 TTT 深度项中剔除 10% 的测量像素，比较不同的"不一致分数"挑出来的像素。
- **成立的标准**：JEPA 挑的像素要好过跨视角深度一致性挑的（最强的非 JEPA 对照），才能说 JEPA 提供了额外信息。这对应任务书中的 B5 对 B4。

## 1. 修正版逆向 JEPA（已训练、冻结）

- **结构**：
  - 在线编码器输入 RGB、测量深度的对数和有效掩码，输出 64 通道、64×80 的潜特征。
  - 目标编码器是在线编码器的 EMA（0.996），不传梯度。
  - 源视角的潜特征用自己的测量深度反投影，变换到目标相机下，再 z-buffer 到目标潜网格。这一步替代了代码包里按像素序号混合的做法。
  - 预测器以投影特征、命中掩码、投影深度和 Plücker 射线为输入，输出 ẑ 和 log P。
  - 损失是逐格高斯 NLL，加上在线特征的标准差下限。
- **训练**：
  - 数据为 ARKitScenes TRAIN 的 182 个场所。每个样本取一个目标帧，加同一扫描的 6 个其它帧。
  - 3 万步，batch 8，seed 20261016。
  - 用 ARKit DEV 的 8 个场所做监控，没有读取本实验的任何评测队列。
- **锁定与校准**：模型在锁定前训练完成。检查点和训练日志的哈希记入 preregistration.json；锁定后不再改动。训练日志中验证集上的校准（log 误差与 log P 的相关）约为 0.7，说明预测方差有意义。

## 2. 分数与门控（锁定）

对每个片段 7 个到达视角上的每个有效测量像素计算四种分数：
- **JEPA**：留一预测的归一化潜空间创新，即该像素所在潜格上 (z − ẑ)² 的通道平均除以 P。z 由目标编码器作用于该视角的 RGB-D 得到；ẑ 和 P 由另外 6 个视角预测。
- **DEPTH**：跨视角测量深度不一致，即 |D_v − D_rep| / D_v，其中 D_rep 是另外 6 个视角的测量点 z-buffer 到该视角后的最近深度；没有命中的像素计 0 分。
- **INC**：1 − 入射角/深度跳变权重（第一步的定义）。
- **RANDOM**：按片段种子生成的均匀随机数（空对照）。

**门控规则**：每种分数都在片段内的全部有效像素上排序，剔除最高的 10%（并列时用种子抖动随机打破），被剔除的像素不参与 TTT 深度项。

**TTT**：在 V1 的损失中，深度项改为对保留的有效像素求平均；RGB 项不变。不剔除任何像素时，与 V1 完全相同。100 步 Adam，V1 的参数化和学习率。排练阶段额外跑一个 NONE 臂（不剔除），检查它与已封存的 Core B 一致，即差异在 GPU 非确定性的量级以内。

**读出与统计**：Core B 读出 sqrt(R7 × F7)，按场所统计。

**信息边界**：只用到达帧，不读取任何查询帧的信息。

## 3. 开发与确认（锁定）

- **开发集**：沿用第一步的开发集（ARKIT_SYSTEM 与 ARKIT_SYSTEM2 各 12 个扫描，共 24 个场所、48 个片段）。跑 JEPA、DEPTH、INC、RANDOM 四个臂；CORE_B 用已封存的结果。
- **GO 规则**：只有当 GATE_JEPA 的开发集均值同时低于 CORE_B 和 GATE_DEPTH 时，才进入确认；否则为 STOP_AT_DEV。决定写入 decision.json 并记录哈希后，才读取确认集的真值。
- **确认集**：CONF_SYSTEM3（160 个场所）和 CONF_VAL（80 个场所），跑 JEPA 和 DEPTH 两个臂。
  - P1：在 SYSTEM3 上比较 GATE_DEPTH − GATE_JEPA，用 V1 的配对场所 bootstrap 和 V2 判定。
  - P2：在 VAL 上做同样的比较。
  - 次要比较：CORE_B − GATE_JEPA，CORE_B − GATE_DEPTH。
- **分支**：
  - P1 为 SUPPORTED，且 P2 均值 > 0 → JEPA_ADDED_VALUE_SUPPORTED；
  - P1 为 SUPPORTED 或 PARTIAL → PARTIAL；
  - P1 为 HARMFUL → HARMFUL；
  - 其余 → NOT_ESTABLISHED。

## 4. 描述性分析

- 各臂之间被剔除像素集合的重叠比例，例如 JEPA 与 DEPTH 挑中的是否是同一批像素。
- 各分数的统计摘要。
- 开发集上的所有两两对比。

## 5. 完整性、预算与修订

- **完整性**：
  - 每个片段都审计打开过的文件。
  - 复用的封存逐文件核对哈希。
  - 真值只在全部预测封存之后经 TeacherAccess 读取。
  - 确认分析运行两次，结果必须逐字节一致。
  - 测试覆盖：投影、z-buffer、深度不一致分数、等量门控、决策规则，以及根目录文件与 ENGINE-V1 逐字节一致。
- **预算**：只用 GPU 4（`cv_gpu_run.sh --with-others`），不下载数据，不打开受保护的保留集。
  - 开发集：48 个片段 × 4 个臂，预计约 1.5–2 小时。
  - 确认（只在 GO 时）：480 个片段 × 2 个臂，预计约 7–8 小时。
- **修订规则**：锁定后的修改只能以 `audit/amendment_N.json` 加本文件末尾追加的方式记录，而且必须在读取相应真值之前。