Source: docs/experiments/EXP-3D-CAJU3D-FUSENET-V1/PROTOCOL.md · Plain text
EXP-3D-CAJU3D-FUSENET-V1 预注册协议(CAJU-3D 第四步:学到的按像素读出——JEPA 的完整潜预测能否帮助"信谁")
0. 背景
- 前三步的结论:
- JEPA 在两个角色里都没有作用:挑 TTT 的测量(第二步),以及作为读出融合的方差 P(第三步)。
- 非 JEPA 的卡尔曼式按像素融合(KF_BASE,分箱表)在三批场所上都改善了 Core B,约 2%。
- 本实验检验 JEPA 最强的用法:让一个小网络直接使用 H-JEPA 在查询视角预测的完整潜特征 ẑ(64 通道)以及 log P、命中掩码,学习每个像素怎么融合。
- 在已覆盖像素上,网络给出 F7 与 R7 的权重;
- 在未覆盖像素上,网络给出对 R7 的有界修正。这部分占 Core B 一半的误差。
- 对照:一个结构、训练流程完全相同、只是不输入 JEPA 特征的网络。
- 同时回答一个实用问题:学到的融合能否超过冻结的分箱表。
1. 数据(不跑 TTT)
- 队列:与 KFUSE-V1 相同,根目录文件逐字节复制。
- 拟合集:SYSTEM + SYSTEM2,160 个场所。按种子 20261100 一次性分为 128 个训练场所和 32 个验证场所。
- 确认集:CONF_SYSTEM3(160 个场所,P1)和 CONF_VAL(80 个场所,P2)。
- 四个队列互不重叠,也不与 H-JEPA 的训练数据重叠。
- 输入(只来自到达数据):
- 基础图像 8 通道:log R7、log F7、分歧、α、near7、cosine、是否已覆盖、log TTT 原始深度(α 下限 1e-3,截断到 0.1–20 m);
- JEPA 66 通道:第二步冻结的 H-JEPA 从 7 个到达视角预测的查询格 ẑ、log P、命中。只用查询相机的参数,不读查询帧的图像或深度,目标编码器不运行。
2. 模型与训练(锁定)
- FuseNet:
- JEPA 特征先经 1×1 卷积压到 16 通道,再上采样拼接;
- 主干是 5 层 3×3 卷积,32 通道,膨胀率 1、2、4、8、1,GroupNorm + GELU;
- 输出两张图:
- 已覆盖像素的权重 w = sigmoid(·),log 预测 = (1−w)·log R7 + w·log F7;
- 未覆盖像素的修正 r = 0.7·tanh(·),log 预测 = log R7 + r。
- 输出头初始化为零,所以未训练时恰好等于 Core B。
- 两个臂:FUSE_BASE(只用基础图像)和 FUSE_JEPA(加 JEPA 特征)。
- 训练:
- 每个臂 3 个种子(20261101–20261103);
- Adam,lr 1e-3,权重衰减 1e-4,30 个 epoch,每批 8 个查询;
- 损失为场所加权的 AbsRel;
- 每个种子保留验证集场所级 AbsRel 最低的 epoch。
- 模型哈希写入 audit/fit_log.txt 之后,才读取确认集真值。
- 读出:每个臂取 3 个种子的 log 预测平均。
3. 确认与判定(锁定)
- 主检验:
- P1 = FUSE_BASE − FUSE_JEPA(CONF_SYSTEM3,正值表示 JEPA 特征有帮助),用 V1 的配对场所 bootstrap 和 V2 判定;
- P2:在 CONF_VAL 上做同样的比较。
- 分支:
- P1 为 SUPPORTED 且 P2 均值 > 0 → JEPA_FUSION_SUPPORTED;
- P1 为 SUPPORTED 或 PARTIAL → PARTIAL;
- P1 为 HARMFUL → HARMFUL;
- 其余 → NOT_ESTABLISHED。
- 次要:
- KF_BASE − FUSE_BASE:学到的融合是否胜过冻结的分箱表;
- CORE_B − FUSE_BASE、CORE_B − FUSE_JEPA、KF_BASE − FUSE_JEPA;
- FUSE_BASE_W − FUSE_BASE:未覆盖修正的贡献,_W 表示关掉修正;
- KF_BASE − FUSE_BASE_W。
4. 完整性、预算与修订
- 完整性:
- 复用的封存逐文件核对哈希;
- 真值只经 TeacherAccess 读取,确认集真值只在全部模型训练完成、哈希记录之后读取;
- 确认在 CPU 上运行两次,结果必须逐字节一致;
- 测试覆盖:
- 基础通道;
- 未训练网络等于 Core B;
- AbsRel 忽略无效像素;
- 场所权重;
- 划分确定且互斥;
- JEPA 路径的形状与可学习性;
- 分支规则;
- 根目录文件与 KFUSE-V1 逐字节一致。
- 预算:
- GPU 4:特征约 1 分钟,训练 6 个小网络预计 10–30 分钟;
- 不下载数据,不打开受保护的保留集。
- 修订规则:锁定后的修改只能以
audit/amendment_N.json 加本文件末尾追加的方式记录,而且必须在读取相应真值之前。