EXP-3D-CAJU3D-JEPAGATE-V1 预注册协议(CAJU-3D 第二步:JEPA 潜空间创新能否挑出更值得排除的测量)
0. 背景
- 第一步的结论:第一步(EXP-3D-CAJU3D-ENGINE-V1)停在开发集。方案中不需要学习的引擎机制都没有超过 Core B(发布版权重 + 原始 TTT)。
- 第二步只检验 JEPA:方案的核心假设是"逆向 JEPA 的结构预测能把视角伪影残差和真实几何误差分开,从而防止残差误判"。为了单独检验这一点,第二步以 Core B 为底座,只改一件事:每个片段从 TTT 深度项中剔除 10% 的测量像素,比较不同的"不一致分数"挑出来的像素。
- 成立的标准:JEPA 挑的像素要好过跨视角深度一致性挑的(最强的非 JEPA 对照),才能说 JEPA 提供了额外信息。这对应任务书中的 B5 对 B4。
1. 修正版逆向 JEPA(已训练、冻结)
- 结构:
- 在线编码器输入 RGB、测量深度的对数和有效掩码,输出 64 通道、64×80 的潜特征。
- 目标编码器是在线编码器的 EMA(0.996),不传梯度。
- 源视角的潜特征用自己的测量深度反投影,变换到目标相机下,再 z-buffer 到目标潜网格。这一步替代了代码包里按像素序号混合的做法。
- 预测器以投影特征、命中掩码、投影深度和 Plücker 射线为输入,输出 ẑ 和 log P。
- 损失是逐格高斯 NLL,加上在线特征的标准差下限。
- 训练:
- 数据为 ARKitScenes TRAIN 的 182 个场所。每个样本取一个目标帧,加同一扫描的 6 个其它帧。
- 3 万步,batch 8,seed 20261016。
- 用 ARKit DEV 的 8 个场所做监控,没有读取本实验的任何评测队列。
- 锁定与校准:模型在锁定前训练完成。检查点和训练日志的哈希记入 preregistration.json;锁定后不再改动。训练日志中验证集上的校准(log 误差与 log P 的相关)约为 0.7,说明预测方差有意义。
2. 分数与门控(锁定)
对每个片段 7 个到达视角上的每个有效测量像素计算四种分数: - JEPA:留一预测的归一化潜空间创新,即该像素所在潜格上 (z − ẑ)² 的通道平均除以 P。z 由目标编码器作用于该视角的 RGB-D 得到;ẑ 和 P 由另外 6 个视角预测。 - DEPTH:跨视角测量深度不一致,即 |D_v − D_rep| / D_v,其中 D_rep 是另外 6 个视角的测量点 z-buffer 到该视角后的最近深度;没有命中的像素计 0 分。 - INC:1 − 入射角/深度跳变权重(第一步的定义)。 - RANDOM:按片段种子生成的均匀随机数(空对照)。
门控规则:每种分数都在片段内的全部有效像素上排序,剔除最高的 10%(并列时用种子抖动随机打破),被剔除的像素不参与 TTT 深度项。
TTT:在 V1 的损失中,深度项改为对保留的有效像素求平均;RGB 项不变。不剔除任何像素时,与 V1 完全相同。100 步 Adam,V1 的参数化和学习率。排练阶段额外跑一个 NONE 臂(不剔除),检查它与已封存的 Core B 一致,即差异在 GPU 非确定性的量级以内。
读出与统计:Core B 读出 sqrt(R7 × F7),按场所统计。
信息边界:只用到达帧,不读取任何查询帧的信息。
3. 开发与确认(锁定)
- 开发集:沿用第一步的开发集(ARKIT_SYSTEM 与 ARKIT_SYSTEM2 各 12 个扫描,共 24 个场所、48 个片段)。跑 JEPA、DEPTH、INC、RANDOM 四个臂;CORE_B 用已封存的结果。
- GO 规则:只有当 GATE_JEPA 的开发集均值同时低于 CORE_B 和 GATE_DEPTH 时,才进入确认;否则为 STOP_AT_DEV。决定写入 decision.json 并记录哈希后,才读取确认集的真值。
- 确认集:CONF_SYSTEM3(160 个场所)和 CONF_VAL(80 个场所),跑 JEPA 和 DEPTH 两个臂。
- P1:在 SYSTEM3 上比较 GATE_DEPTH − GATE_JEPA,用 V1 的配对场所 bootstrap 和 V2 判定。
- P2:在 VAL 上做同样的比较。
- 次要比较:CORE_B − GATE_JEPA,CORE_B − GATE_DEPTH。
- 分支:
- P1 为 SUPPORTED,且 P2 均值 > 0 → JEPA_ADDED_VALUE_SUPPORTED;
- P1 为 SUPPORTED 或 PARTIAL → PARTIAL;
- P1 为 HARMFUL → HARMFUL;
- 其余 → NOT_ESTABLISHED。
4. 描述性分析
- 各臂之间被剔除像素集合的重叠比例,例如 JEPA 与 DEPTH 挑中的是否是同一批像素。
- 各分数的统计摘要。
- 开发集上的所有两两对比。
5. 完整性、预算与修订
- 完整性:
- 每个片段都审计打开过的文件。
- 复用的封存逐文件核对哈希。
- 真值只在全部预测封存之后经 TeacherAccess 读取。
- 确认分析运行两次,结果必须逐字节一致。
- 测试覆盖:投影、z-buffer、深度不一致分数、等量门控、决策规则,以及根目录文件与 ENGINE-V1 逐字节一致。
- 预算:只用 GPU 4(
cv_gpu_run.sh --with-others),不下载数据,不打开受保护的保留集。 - 开发集:48 个片段 × 4 个臂,预计约 1.5–2 小时。
- 确认(只在 GO 时):480 个片段 × 2 个臂,预计约 7–8 小时。
- 修订规则:锁定后的修改只能以
audit/amendment_N.json加本文件末尾追加的方式记录,而且必须在读取相应真值之前。