# EXP-3D-CAJU3D-KFUSE-V1：CAJU-3D 第三步——卡尔曼式读出融合：JEPA 的预测方差能否指出 TTT 状态在哪里可信

**结论：`JEPA_KALMAN_NOT_ESTABLISHED`；次要发现：卡尔曼式按像素融合本身有效。**

- **JEPA 部分不成立**：H-JEPA 在查询视角预测的方差 P，作为按像素的可信度线索，没有胜过 TTT 状态自己的不透明度 α。
  - P1（SYSTEM3）：−0.00005 [−0.00013, +0.00003]，61/0/99；
  - P2（VAL）：−0.00007 [−0.00022, +0.00008]，33/0/47。
  - 在 α 之外再加 P 也没有增益。
- **非 JEPA 的卡尔曼式融合有效**：在 TTT 已覆盖的像素上按"F7/R7 分歧 × α × R7 是否直接重投影"给出权重，两个确认队列上都改善了 Core B，判定都是 SUPPORTED。
  - SYSTEM3：0.1569 → 0.1538，+0.0031 [+0.0020, +0.0043]，122/0/38；
  - VAL：0.1161 → 0.1134，+0.0027 [+0.0013, +0.0044]，62/0/18。
  - 比统一权重多 +0.0006（两个队列都是 PARTIAL）。

## 设计（[PROTOCOL.md](PROTOCOL.md)，2026-10-14 21:56:35 锁定，sha256 `b9e08b44…`）

- **问题**：方案的卡尔曼掩码 M_pos = P/(P+R) 用 JEPA 的结构方差 P 决定"信哪一方"。第二步表明，这个思路放在 TTT 的测量选择上没有收益，所以本实验把它放到 Core B 的读出层，即按像素决定 TTT 状态（F7）和 7 视角重投影（R7）的比例。
- **读出**：在 α ≥ 0.5 的已覆盖像素上，结果为 R7^(1−w) · F7^w；未覆盖像素保持 R7。w = 0.5 就是 Core B。
- **各臂**：每个箱一个权重，取自 {0, 0.05, …, 1}。
  - CORE_B：w = 0.5；
  - GEO_U：一个统一权重；
  - KF_DIS：按 F7/R7 分歧（DIS）分 8 箱；
  - **KF_BASE**：DIS × α × NEAR，64 箱，非 JEPA；
  - **KF_JEPA**：DIS × JEPA log P × NEAR，64 箱，与 KF_BASE 箱数相同；
  - KF_FULL：DIS × α × log P × NEAR，256 箱。
  - NEAR 表示 R7 在该像素是直接重投影命中（几何封存的 near7），而不是插值补出来的。
- **H-JEPA 特征**：用第二步冻结的模型，从 7 个到达视角预测查询相机处的 log P。只用查询帧的相机参数，不读其图像或深度，目标编码器不运行；文件访问审计无违规。
- **拟合**：
  - 用 ARKIT_SYSTEM 和 ARKIT_SYSTEM2 的全部片段（160 个场所）拟合。分位边界和每箱权重按场所加权的 AbsRel 选出。
  - 融合表冻结并记录哈希（`15100550…`）之后，才读取确认集真值。
- **确认**：
  - CONF_SYSTEM3（160 个场所，P1）和 CONF_VAL（80 个场所，P2）。
  - 四个队列互不重叠，也不与 H-JEPA 的训练数据重叠。
  - 用 V1 的配对场所 bootstrap 和 V2 判定。
- **完整性**：8 个测试通过；确认分析运行两次，逐字节一致。
- **设计前的探索**：在第一、二步的开发集上做过一次探索（[exploration/](exploration/)），结论写在协议的背景里。拟合集包含这个开发集；确认集没有参与任何选择。

## 结果（[summary.txt](results/summary.txt)）

| 臂 | SYSTEM3（160） | VAL（80） |
|---|---|---|
| CORE_B | 0.15689 | 0.11608 |
| GEO_U（统一 w = 0.95） | 0.15435 | 0.11407 |
| KF_DIS | 0.15397 | 0.11358 |
| **KF_BASE**（非 JEPA） | **0.15381** | 0.11341 |
| KF_JEPA | 0.15386 | 0.11347 |
| KF_FULL | 0.15382 | **0.11339** |

| 对比（> 0：右边更好） | SYSTEM3 | VAL |
|---|---|---|
| **P：KF_BASE − KF_JEPA** | −0.00005 [−0.00013, +0.00003]，61/0/99，NOT_ESTABLISHED | −0.00007 [−0.00022, +0.00008]，33/0/47，NOT_ESTABLISHED |
| KF_BASE − KF_FULL | −0.00001，70/0/90，NOT_ESTABLISHED | +0.00002，31/0/49，NOT_ESTABLISHED |
| CORE_B − KF_BASE | +0.00308 [+0.00201, +0.00434]，122/0/38，**SUPPORTED** | +0.00267 [+0.00127, +0.00438]，62/0/18，**SUPPORTED** |
| CORE_B − KF_JEPA | +0.00303，116/0/44，PARTIAL | +0.00261，58/0/22，PARTIAL |
| CORE_B − GEO_U | +0.00253，104/0/56，PARTIAL | +0.00201，49/0/31，PARTIAL |
| GEO_U − KF_BASE | +0.00055 [+0.00036, +0.00075]，112/0/48，PARTIAL | +0.00066 [+0.00039, +0.00093]，55/0/25，PARTIAL |
| KF_DIS − KF_BASE | +0.00016，99/0/61，PARTIAL | +0.00018，47/0/33，NOT_ESTABLISHED |

- **拟合集上的留一场所估计**（描述性）与确认结果一致：KF_BASE 比 Core B 好 +0.0022；KF_BASE − KF_JEPA 为 −0.00007，不成立。
- **冻结的 KF_BASE 权重表**：
  - F7 与 R7 分歧最大的一档（相差超过约 4.5%）：w = 0.65–1，偏向 TTT。这些多在遮挡边界附近，直接重投影在那里容易出错。
  - 分歧小、R7 是直接重投影的像素：w = 0–0.5，偏向 R7 或对半，α 越高 w 越大。这些像素上两者本就接近。
  - R7 是插值补出来的像素：权重多为 0 或 1。这类像素在已覆盖像素中很少，估计较粗。
  - 统一权重为 0.95，接近以前 COREB-WEIGHT 选出的 0.9。

## 解读

- **JEPA 的 P 没有提供 α 之外的信息**：
  - 在已覆盖的像素上，F7 是否比 R7 可信，主要取决于 TTT 状态自己的不透明度和 R7 是否是插值。这两项都不需要 JEPA。
  - H-JEPA 的 P 反映"从到达视角能多好地预测这个查询格"，这与 near7 和 α 高度重合。
- **卡尔曼思想本身有价值**：按每一方的可信度调整融合比例，比固定的 1:1 和统一权重都好，两个独立队列上都复现。这是 CAJU-3D 方案中唯一带来收益的部分，但起作用的是几何和不透明度线索，而不是 JEPA。
- **注意**：
  - 确认集 SYSTEM3 和 VAL 以前也被用作确认（例如 COREB-WEIGHT），本实验再次使用。融合表只在拟合集上选出，确认集没有参与任何选择。
  - 真值和测量来自同一个 LiDAR，同样的局限仍然适用。

## 事后探索：未覆盖像素（[exploration_posthoc/](exploration_posthoc/)，只用拟合集，不是确认）

- **背景**：Core B 的误差有一半来自 α < 0.5 的未覆盖像素，那里固定用 R7。
- **做法**：
  - 按 α（6 档）× NEAR × TTT 深度与 R7 的分歧（4 档）分箱；
  - 在 R7 与 TTT 原始深度（depth_z / α / cos）之间按箱拟合权重；
  - 叠加在 KF_BASE 之上。
- **结果**：
  - 拟合集内调权重时，均值从 0.1491 降到 0.1316；
  - 留一场所估计为 0.1331，即 +0.016 [−0.006, +0.046]，但 160 个场所中 74 个变好、86 个变差，不成立。
- **收益来源**：几乎全部来自 α < 0.05、R7 为插值、分歧最大的一档（占未覆盖误差的 38%）。权重只有 0.05，起作用的是把 R7 在远处空洞中偏浅的插值往深处拉。
- **结论**：这与以前补全线"平均有效、逐场景不稳"的结论相同，不再推进。

## 文件

- **代码**：`code/`。
  - 融合逻辑：`kf_logic.py`；
  - 根目录：`kf_make_root.py`；
  - 查询特征：`kf_query_jepa.py`、`kf_jepa_core.py`；
  - 数据载入：`kf_data.py`；
  - 拟合与确认：`kf_score.py`；
  - 锁定：`kf_lock.py`；
  - 任务：`kf_jobs.sh`；
  - 测试：`test_kf.py`。
- **记录**：`preregistration.json`、`fusion_tables.json`、`audit/`（锁定、拟合哈希、排练、链、两次确认的一致性）。
- **结果**：`results/`（确认结果、拟合集留一结果、可读汇总）、`scores/`。
- **探索**：`exploration/`（设计前）、`exploration_posthoc/`（事后）。
- **不进 git**：查询特征 `jepa/`（每个查询的 log P 和命中掩码）。