JEPA 特征契约（CAJU-V1）
结论
JEPA_FEATURE_STATUS=NOT_IMPLEMENTED
项目里没有满足任务书定义的 JEPA 预测表征。所谓"逆向 JEPA"，其实是用目标视角在像素空间的渲染损失，去微调 DepthSplat 编码器。
审计依据
我检查了全部 7 个训练脚本：
- train_jepa.py（V1 和 ABLATION）
- train_jepa_arkit.py（JA）
- train_jepa_arkit_overlap.py（JO、JC）
- train_jepa_arkit_norm.py（JN）
- train_jepa_arkit_cache.py（JK）
- train_jepa_arkit_scale.py（JL）
- train_jepa_arkit_overlap_scale.py（JOL）
以及它们的 derive_*.py 派生脚本。
| 任务书要求 | 现状 |
|---|---|
| context predictive encoder | 有一个编码器（DepthSplat），但它输出的是高斯状态，不是潜空间预测 |
| target encoder | 没有（找不到 target_encoder、EMA、momentum 或 stop-gradient 目标） |
| latent prediction | 没有：预测的是目标视角渲染出的深度和 RGB |
| predicted latent / target latent | 没有 |
| 可提取的 predictive innovation | 没有潜空间创新；唯一的"创新"是像素空间的渲染残差，与 Core B 的测量残差同类 |
各版本的损失：
- V1 / JA / JO / JC / JL / JOL：目标视角原始渲染深度的相对 L1 加 0.5 × RGB L1（grounded_loss）。
- JN / JK：同样的量，只在 α ≥ 0.5 的有效像素上计算，深度先除以 α。
更新的是整个 DepthSplat 编码器，单目 ViT 用十分之一学习率。它们训练出来的是另一组 DepthSplat 权重，不是独立的预测器。所以： - 不能把 JN 等模型的 DepthSplat 特征称为 JEPA 特征； - 它们最多是"另一组 backbone 特征"，只能作为 non-JEPA 对照（类似任务书中 B4 的一种变体）。
可以合法提取的 non-JEPA 特征（本实验 Gate 0 已记录）
只用 7 个到达帧和 CACHE 状态，见 caju_replay.py 的 pre_update_features：
- 残差：
- 原始深度残差（第 0 步的 TTT 深度项）的均值和 p50 / p90 / p99；
- α ≥ 0.5 覆盖像素上归一化深度残差的均值和分位数；
- RGB L1；
- 残差最大的 10% 像素占残差总量的比例（空间集中度）；
- 逐视角残差的最大、最小、标准差，以及上下文视角与流视角的残差。
- 测量与覆盖：覆盖率（有效像素中 α ≥ 0.5 的比例）、有效测量比例、测量深度的 p10 / p50 / p90 和展布。
- 几何：相机最大基线、最大视角差、高斯数量、尺度（深度中位数）。
- DepthSplat 单目深度与测量的差异：中位比值和 AbsRel。这是 backbone 层面的信号，属于 non-JEPA。
- TTT 历史：本轮是单次决策，只有逐步损失曲线可作为事后描述，不作为决策输入。
可以进一步提取、但本轮没有提取的：DepthSplat 多视角 Transformer 特征和匹配置信度（B4 的 backbone 特征）。
最小 JEPA 特征提取器设计（供用户决定，本轮不执行）
- 目标表征 z_t：冻结的 DINOv2-B 或 DepthSplat 的单目 ViT，作用在新到达帧 o_t（RGB；也可以加深度通道）上，得到 patch token，256×320 下约 16×20×768。冻结目标编码器可以避免表征坍缩，不需要 EMA。
- 上下文 h_{<t}：冻结 DepthSplat 编码器对已到达帧的多视角特征，池化成约 64 个 token；也可以用当前高斯状态的统计 token。
- 预测器 P：4 层 Transformer，宽度 384，约 1000 万参数。输入 h_{<t} 和目标相机的 Plücker 射线嵌入 c_t，输出预测 ẑ_t。
- 损失：对 stop-gradient 的 z_t 做 smooth-L1 或余弦损失。
- 创新残差：r^J_t = z_t − ẑ_t，取逐 patch 范数的均值和分位数、空间集中度，以及与测量残差的相关性，作为效用 MLP 的 JEPA 输入。
- 训练数据：ARKit TRAIN 中未进入 CAJU 的 132 个场所，每个场所 16 帧，用"3 个上下文 → 其余帧"组成的帧对，约 1.6 万对。
- 训练成本：约 2 万步 × 0.3 s，在 GPU 4 上与其他进程分时约 2–3 小时。特征提取每个片段不到 0.1 s。
- 必要对照：
- 同容量的 non-JEPA 预测器：用相同的 DepthSplat 特征直接回归效用，不经过潜空间预测（B4）；
- 打乱或替换 JEPA 输入的对照（B7）。
- 风险：现有证据显示，Core B 的 TTT 增益集中在近处可见区域（NEAR7），而 JEPA 类的前馈改进主要体现为有选择的弃权。所以 JEPA 创新能否预测更新效用，没有先验理由乐观，必须由 Gate 1 检验。