EXP-3D-CAJU3D-KFUSE-V1:CAJU-3D 第三步——卡尔曼式读出融合:JEPA 的预测方差能否指出 TTT 状态在哪里可信
结论:JEPA_KALMAN_NOT_ESTABLISHED;次要发现:卡尔曼式按像素融合本身有效。
- JEPA 部分不成立:H-JEPA 在查询视角预测的方差 P,作为按像素的可信度线索,没有胜过 TTT 状态自己的不透明度 α。
- P1(SYSTEM3):−0.00005 [−0.00013, +0.00003],61/0/99;
- P2(VAL):−0.00007 [−0.00022, +0.00008],33/0/47。
- 在 α 之外再加 P 也没有增益。
- 非 JEPA 的卡尔曼式融合有效:在 TTT 已覆盖的像素上按"F7/R7 分歧 × α × R7 是否直接重投影"给出权重,两个确认队列上都改善了 Core B,判定都是 SUPPORTED。
- SYSTEM3:0.1569 → 0.1538,+0.0031 [+0.0020, +0.0043],122/0/38;
- VAL:0.1161 → 0.1134,+0.0027 [+0.0013, +0.0044],62/0/18。
- 比统一权重多 +0.0006(两个队列都是 PARTIAL)。
设计(PROTOCOL.md,2026-10-14 21:56:35 锁定,sha256 b9e08b44…)
- 问题:方案的卡尔曼掩码 M_pos = P/(P+R) 用 JEPA 的结构方差 P 决定"信哪一方"。第二步表明,这个思路放在 TTT 的测量选择上没有收益,所以本实验把它放到 Core B 的读出层,即按像素决定 TTT 状态(F7)和 7 视角重投影(R7)的比例。
- 读出:在 α ≥ 0.5 的已覆盖像素上,结果为 R7^(1−w) · F7^w;未覆盖像素保持 R7。w = 0.5 就是 Core B。
- 各臂:每个箱一个权重,取自 {0, 0.05, …, 1}。
- CORE_B:w = 0.5;
- GEO_U:一个统一权重;
- KF_DIS:按 F7/R7 分歧(DIS)分 8 箱;
- KF_BASE:DIS × α × NEAR,64 箱,非 JEPA;
- KF_JEPA:DIS × JEPA log P × NEAR,64 箱,与 KF_BASE 箱数相同;
- KF_FULL:DIS × α × log P × NEAR,256 箱。
- NEAR 表示 R7 在该像素是直接重投影命中(几何封存的 near7),而不是插值补出来的。
- H-JEPA 特征:用第二步冻结的模型,从 7 个到达视角预测查询相机处的 log P。只用查询帧的相机参数,不读其图像或深度,目标编码器不运行;文件访问审计无违规。
- 拟合:
- 用 ARKIT_SYSTEM 和 ARKIT_SYSTEM2 的全部片段(160 个场所)拟合。分位边界和每箱权重按场所加权的 AbsRel 选出。
- 融合表冻结并记录哈希(
15100550…)之后,才读取确认集真值。 - 确认:
- CONF_SYSTEM3(160 个场所,P1)和 CONF_VAL(80 个场所,P2)。
- 四个队列互不重叠,也不与 H-JEPA 的训练数据重叠。
- 用 V1 的配对场所 bootstrap 和 V2 判定。
- 完整性:8 个测试通过;确认分析运行两次,逐字节一致。
- 设计前的探索:在第一、二步的开发集上做过一次探索(exploration/),结论写在协议的背景里。拟合集包含这个开发集;确认集没有参与任何选择。
结果(summary.txt)
| 臂 | SYSTEM3(160) | VAL(80) |
|---|---|---|
| CORE_B | 0.15689 | 0.11608 |
| GEO_U(统一 w = 0.95) | 0.15435 | 0.11407 |
| KF_DIS | 0.15397 | 0.11358 |
| KF_BASE(非 JEPA) | 0.15381 | 0.11341 |
| KF_JEPA | 0.15386 | 0.11347 |
| KF_FULL | 0.15382 | 0.11339 |
| 对比(> 0:右边更好) | SYSTEM3 | VAL |
|---|---|---|
| P:KF_BASE − KF_JEPA | −0.00005 [−0.00013, +0.00003],61/0/99,NOT_ESTABLISHED | −0.00007 [−0.00022, +0.00008],33/0/47,NOT_ESTABLISHED |
| KF_BASE − KF_FULL | −0.00001,70/0/90,NOT_ESTABLISHED | +0.00002,31/0/49,NOT_ESTABLISHED |
| CORE_B − KF_BASE | +0.00308 [+0.00201, +0.00434],122/0/38,SUPPORTED | +0.00267 [+0.00127, +0.00438],62/0/18,SUPPORTED |
| CORE_B − KF_JEPA | +0.00303,116/0/44,PARTIAL | +0.00261,58/0/22,PARTIAL |
| CORE_B − GEO_U | +0.00253,104/0/56,PARTIAL | +0.00201,49/0/31,PARTIAL |
| GEO_U − KF_BASE | +0.00055 [+0.00036, +0.00075],112/0/48,PARTIAL | +0.00066 [+0.00039, +0.00093],55/0/25,PARTIAL |
| KF_DIS − KF_BASE | +0.00016,99/0/61,PARTIAL | +0.00018,47/0/33,NOT_ESTABLISHED |
- 拟合集上的留一场所估计(描述性)与确认结果一致:KF_BASE 比 Core B 好 +0.0022;KF_BASE − KF_JEPA 为 −0.00007,不成立。
- 冻结的 KF_BASE 权重表:
- F7 与 R7 分歧最大的一档(相差超过约 4.5%):w = 0.65–1,偏向 TTT。这些多在遮挡边界附近,直接重投影在那里容易出错。
- 分歧小、R7 是直接重投影的像素:w = 0–0.5,偏向 R7 或对半,α 越高 w 越大。这些像素上两者本就接近。
- R7 是插值补出来的像素:权重多为 0 或 1。这类像素在已覆盖像素中很少,估计较粗。
- 统一权重为 0.95,接近以前 COREB-WEIGHT 选出的 0.9。
解读
- JEPA 的 P 没有提供 α 之外的信息:
- 在已覆盖的像素上,F7 是否比 R7 可信,主要取决于 TTT 状态自己的不透明度和 R7 是否是插值。这两项都不需要 JEPA。
- H-JEPA 的 P 反映"从到达视角能多好地预测这个查询格",这与 near7 和 α 高度重合。
- 卡尔曼思想本身有价值:按每一方的可信度调整融合比例,比固定的 1:1 和统一权重都好,两个独立队列上都复现。这是 CAJU-3D 方案中唯一带来收益的部分,但起作用的是几何和不透明度线索,而不是 JEPA。
- 注意:
- 确认集 SYSTEM3 和 VAL 以前也被用作确认(例如 COREB-WEIGHT),本实验再次使用。融合表只在拟合集上选出,确认集没有参与任何选择。
- 真值和测量来自同一个 LiDAR,同样的局限仍然适用。
事后探索:未覆盖像素(exploration_posthoc/,只用拟合集,不是确认)
- 背景:Core B 的误差有一半来自 α < 0.5 的未覆盖像素,那里固定用 R7。
- 做法:
- 按 α(6 档)× NEAR × TTT 深度与 R7 的分歧(4 档)分箱;
- 在 R7 与 TTT 原始深度(depth_z / α / cos)之间按箱拟合权重;
- 叠加在 KF_BASE 之上。
- 结果:
- 拟合集内调权重时,均值从 0.1491 降到 0.1316;
- 留一场所估计为 0.1331,即 +0.016 [−0.006, +0.046],但 160 个场所中 74 个变好、86 个变差,不成立。
- 收益来源:几乎全部来自 α < 0.05、R7 为插值、分歧最大的一档(占未覆盖误差的 38%)。权重只有 0.05,起作用的是把 R7 在远处空洞中偏浅的插值往深处拉。
- 结论:这与以前补全线"平均有效、逐场景不稳"的结论相同,不再推进。
文件
- 代码:
code/。 - 融合逻辑:
kf_logic.py; - 根目录:
kf_make_root.py; - 查询特征:
kf_query_jepa.py、kf_jepa_core.py; - 数据载入:
kf_data.py; - 拟合与确认:
kf_score.py; - 锁定:
kf_lock.py; - 任务:
kf_jobs.sh; - 测试:
test_kf.py。 - 记录:
preregistration.json、fusion_tables.json、audit/(锁定、拟合哈希、排练、链、两次确认的一致性)。 - 结果:
results/(确认结果、拟合集留一结果、可读汇总)、scores/。 - 探索:
exploration/(设计前)、exploration_posthoc/(事后)。 - 不进 git:查询特征
jepa/(每个查询的 log P 和命中掩码)。