Source: docs/experiments/EXP-3D-CAJU3D-KFUSE-V1/PROTOCOL.md · Plain text
EXP-3D-CAJU3D-KFUSE-V1 预注册协议(CAJU-3D 第三步:卡尔曼式读出融合——JEPA 的预测方差能否指出 TTT 状态在哪里可信)
0. 背景
- 方案中尚未检验的部分:卡尔曼掩码 M_pos = P/(P+R)。思路是用逆向 JEPA 的结构先验方差 P 决定每个位置在多大程度上信任哪一方。
- 为什么放在读出层检验:
- 第二步(JEPAGATE-V1)表明,在 TTT 里按 JEPA 剔除测量没有收益,TTT 也不需要防范误导性测量。
- Core B 的读出把 TTT 状态(F7)和 7 视角重投影(R7)按固定的 1:1 做几何平均。是否按像素调这个比例,是一个更大的杠杆:
- 以前的 COREB-WEIGHT 实验中,统一权重 0.9 就有 +0.0025(PARTIAL);
- 本实验设计前,在第二步的开发集上做了探索:按 F7/R7 分歧分箱、留一场所验证,比 Core B 好 +0.0021,比统一权重多约 +0.0005。
- 本实验检验的问题:H-JEPA 在查询视角上预测的方差 P,能否比非 JEPA 线索(TTT 的不透明度 α)更好地指出 F7 和 R7 在哪里更可信。
1. 数据(不跑 TTT,不训练新模型)
- 拟合集:ARKIT_SYSTEM 与 ARKIT_SYSTEM2 的全部片段(FULL-SYSTEM V1、V2;共 160 个场所、320 个片段、640 个查询)。这些队列的真值以前已读过(包括第一、二步的开发集)。
- 确认集:
- CONF_SYSTEM3:ARKIT_SYSTEM3 全部片段,160 个场所,用于 P1;
- CONF_VAL:ARKIT_VAL 全部片段,80 个场所,用于 P2。
- 场所不重叠:四个队列互不共享场所,也不与 H-JEPA 的训练数据(ARKit TRAIN 及其 DEV 监控集)共享场所或扫描。
- 复用的封存:每个查询的 Core B 的 TTT(发布版权重,TTT_m1)、几何封存(R7、near7、cosine)。
- H-JEPA 特征:用第二步冻结的模型(sha256 已记录在第二步的预注册中)。
- 从 7 个到达视角预测查询相机处每个潜格的 log P 和命中掩码。
- 只用查询帧的相机内外参,不读查询帧的图像或深度,目标编码器不运行。
- 每个片段审计打开过的文件。
2. 融合与各臂(锁定)
- 读出:在 α ≥ 0.5 的已覆盖像素上,融合结果为 R7^(1−w) · F7^w;未覆盖像素保持 R7。w = 0.5 时就是 Core B。
- 特征(只在已覆盖像素上):
- DIS = |log F7 − log R7|,8 个分位箱;
- ALPHA = TTT 的 α,4 个分位箱;
- LOGP = H-JEPA 在查询处的 log P,4 个分位箱;
- NEAR = R7 在该像素是直接重投影命中,而不是插值补出来的(几何封存的 near7),2 箱。
- 臂(每个箱一个权重,取自 {0, 0.05, …, 1}):
- CORE_B:w = 0.5;
- GEO_U:一个统一权重;
- KF_DIS:按 DIS 分 8 箱;
- KF_BASE:DIS × ALPHA × NEAR,64 箱,非 JEPA;
- KF_JEPA:DIS × LOGP × NEAR,64 箱,与 KF_BASE 箱数相同,只把 α 换成 JEPA 的 P;
- KF_FULL:DIS × ALPHA × LOGP × NEAR,256 箱。
- 拟合:
- 分位边界由拟合集的已覆盖像素决定。
- 每个箱的权重取使拟合集的场所加权 AbsRel 最小的值(每个像素按"场所 → 片段 → 查询 → 像素"逐级平均的权重);空箱取 0.5。
- 拟合结果写入 fusion_tables.json,并在读取任何确认集真值之前记录其哈希。
- 描述性:在拟合集上做留一场所估计,不作判定。
3. 确认与判定(锁定)
- 主检验:
- P1 = KF_BASE − KF_JEPA(CONF_SYSTEM3,正值表示 JEPA 的 P 更好),用 V1 的配对场所 bootstrap 和 V2 判定。
- P2:在 CONF_VAL 上做同样的比较。
- 分支:
- P1 为 SUPPORTED 且 P2 均值 > 0 → JEPA_KALMAN_SUPPORTED;
- P1 为 SUPPORTED 或 PARTIAL → PARTIAL;
- P1 为 HARMFUL → HARMFUL;
- 其余 → NOT_ESTABLISHED。
- 次要(实用价值):
- CORE_B 依次减 KF_BASE、KF_JEPA、KF_FULL、GEO_U、KF_DIS;
- GEO_U − KF_BASE(按像素是否胜过统一权重);
- KF_BASE − KF_FULL(P 是否在 α 之外增加信息);
- KF_DIS − KF_BASE。
- 确认的运行条件:确认不依赖拟合集上的任何结果,计算便宜,所以无条件运行。
4. 完整性、预算与修订
- 完整性:
- 所有复用封存逐文件核对哈希;
- 真值只经 TeacherAccess 读取,确认集真值只在融合表冻结之后读取;
- 确认分析运行两次,结果必须逐字节一致;
- 测试覆盖:W=0.5 等于 Core B,未覆盖像素保持 R7,场所权重复现场所均值,拟合能找回已知权重,箱索引范围,分支规则,无目标帧的预测与模型前向一致,队列互不重叠。
- 预算:
- GPU 4 只用于 H-JEPA 的前向,约 800 个片段,预计几分钟;其余都在 CPU 上。
- 不下载数据,不打开受保护的保留集。
- 修订规则:锁定后的修改只能以
audit/amendment_N.json 加本文件末尾追加的方式记录,而且必须在读取相应真值之前。