# EXP-3D-CAJU3D-KFUSE-V1 预注册协议(CAJU-3D 第三步:卡尔曼式读出融合——JEPA 的预测方差能否指出 TTT 状态在哪里可信) ## 0. 背景 - **方案中尚未检验的部分**:卡尔曼掩码 M_pos = P/(P+R)。思路是用逆向 JEPA 的结构先验方差 P 决定每个位置在多大程度上信任哪一方。 - **为什么放在读出层检验**: - 第二步(JEPAGATE-V1)表明,在 TTT 里按 JEPA 剔除测量没有收益,TTT 也不需要防范误导性测量。 - Core B 的读出把 TTT 状态(F7)和 7 视角重投影(R7)按固定的 1:1 做几何平均。是否按像素调这个比例,是一个更大的杠杆: - 以前的 COREB-WEIGHT 实验中,统一权重 0.9 就有 +0.0025(PARTIAL); - 本实验设计前,在第二步的开发集上做了探索:按 F7/R7 分歧分箱、留一场所验证,比 Core B 好 +0.0021,比统一权重多约 +0.0005。 - **本实验检验的问题**:H-JEPA 在查询视角上预测的方差 P,能否比非 JEPA 线索(TTT 的不透明度 α)更好地指出 F7 和 R7 在哪里更可信。 ## 1. 数据(不跑 TTT,不训练新模型) - **拟合集**:ARKIT_SYSTEM 与 ARKIT_SYSTEM2 的全部片段(FULL-SYSTEM V1、V2;共 160 个场所、320 个片段、640 个查询)。这些队列的真值以前已读过(包括第一、二步的开发集)。 - **确认集**: - CONF_SYSTEM3:ARKIT_SYSTEM3 全部片段,160 个场所,用于 P1; - CONF_VAL:ARKIT_VAL 全部片段,80 个场所,用于 P2。 - **场所不重叠**:四个队列互不共享场所,也不与 H-JEPA 的训练数据(ARKit TRAIN 及其 DEV 监控集)共享场所或扫描。 - **复用的封存**:每个查询的 Core B 的 TTT(发布版权重,TTT_m1)、几何封存(R7、near7、cosine)。 - **H-JEPA 特征**:用第二步冻结的模型(sha256 已记录在第二步的预注册中)。 - 从 7 个到达视角预测查询相机处每个潜格的 log P 和命中掩码。 - 只用查询帧的相机内外参,不读查询帧的图像或深度,目标编码器不运行。 - 每个片段审计打开过的文件。 ## 2. 融合与各臂(锁定) - **读出**:在 α ≥ 0.5 的已覆盖像素上,融合结果为 R7^(1−w) · F7^w;未覆盖像素保持 R7。w = 0.5 时就是 Core B。 - **特征**(只在已覆盖像素上): - DIS = |log F7 − log R7|,8 个分位箱; - ALPHA = TTT 的 α,4 个分位箱; - LOGP = H-JEPA 在查询处的 log P,4 个分位箱; - NEAR = R7 在该像素是直接重投影命中,而不是插值补出来的(几何封存的 near7),2 箱。 - **臂**(每个箱一个权重,取自 {0, 0.05, …, 1}): - CORE_B:w = 0.5; - GEO_U:一个统一权重; - KF_DIS:按 DIS 分 8 箱; - **KF_BASE**:DIS × ALPHA × NEAR,64 箱,非 JEPA; - **KF_JEPA**:DIS × LOGP × NEAR,64 箱,与 KF_BASE 箱数相同,只把 α 换成 JEPA 的 P; - KF_FULL:DIS × ALPHA × LOGP × NEAR,256 箱。 - **拟合**: - 分位边界由拟合集的已覆盖像素决定。 - 每个箱的权重取使拟合集的场所加权 AbsRel 最小的值(每个像素按"场所 → 片段 → 查询 → 像素"逐级平均的权重);空箱取 0.5。 - 拟合结果写入 fusion_tables.json,并在读取任何确认集真值之前记录其哈希。 - **描述性**:在拟合集上做留一场所估计,不作判定。 ## 3. 确认与判定(锁定) - **主检验**: - P1 = KF_BASE − KF_JEPA(CONF_SYSTEM3,正值表示 JEPA 的 P 更好),用 V1 的配对场所 bootstrap 和 V2 判定。 - P2:在 CONF_VAL 上做同样的比较。 - **分支**: - P1 为 SUPPORTED 且 P2 均值 > 0 → JEPA_KALMAN_SUPPORTED; - P1 为 SUPPORTED 或 PARTIAL → PARTIAL; - P1 为 HARMFUL → HARMFUL; - 其余 → NOT_ESTABLISHED。 - **次要(实用价值)**: - CORE_B 依次减 KF_BASE、KF_JEPA、KF_FULL、GEO_U、KF_DIS; - GEO_U − KF_BASE(按像素是否胜过统一权重); - KF_BASE − KF_FULL(P 是否在 α 之外增加信息); - KF_DIS − KF_BASE。 - **确认的运行条件**:确认不依赖拟合集上的任何结果,计算便宜,所以无条件运行。 ## 4. 完整性、预算与修订 - **完整性**: - 所有复用封存逐文件核对哈希; - 真值只经 TeacherAccess 读取,确认集真值只在融合表冻结之后读取; - 确认分析运行两次,结果必须逐字节一致; - 测试覆盖:W=0.5 等于 Core B,未覆盖像素保持 R7,场所权重复现场所均值,拟合能找回已知权重,箱索引范围,分支规则,无目标帧的预测与模型前向一致,队列互不重叠。 - **预算**: - GPU 4 只用于 H-JEPA 的前向,约 800 个片段,预计几分钟;其余都在 CPU 上。 - 不下载数据,不打开受保护的保留集。 - **修订规则**:锁定后的修改只能以 `audit/amendment_N.json` 加本文件末尾追加的方式记录,而且必须在读取相应真值之前。