EXP-3D-RGBD-CARRIER-ARKIT-OVERLAP-V1:用 ARKit 真实数据做重叠感知训练的旧基座补全载体
结论:REAL_CARRIER_PARTIAL,REAL_DATA_CARRIER_NOT_ESTABLISHED。
- C1,PARTIAL:
- 旧基座的补全载体(G1 架构,约 6.4 万参数)改用 ARKit 训练折、只用有重叠的训练目标重新训练,得到 GA。
- 在有重叠的新查询(第 6、7 帧)上,GA 平均明显好于调和插值:FARH AbsRel 从 0.452 降到 0.330(约 −27%),+0.1215 [+0.0676, +0.1806]。
- 但只有 79/147 个场景变好,中位数 +0.012。
- C2,NOT_ESTABLISHED: 与 Hypersim 训练的 G1 相比,ARKit 训练没有带来可确认的改进:0.330 对 0.344,+0.0138 [−0.0049, +0.0317],80/0/67。
- 与调和插值取平均(HGAN)是本轮最一致的组合: 100/0/47,即 68% 的场景变好,中位数 +0.031。它仍是 PARTIAL,没到 75%。
- 与 OVERLAP-V1 合起来看:
- 同样的查询上,四种学到的补全给出几乎相同的平均误差:Hypersim 训练的 G1N 0.344、ARKit 训练的 GA 0.330,DepthSplat 逆向 JEPA 的 JA 0.337 和 JO 0.341。
- 一致性也几乎相同,都在 50–55% 的场景变好。
- 模型类型、训练数据和训练目标的选择,对这个结果影响都很小。
说明:
- 预注册: 见 PROTOCOL.md。冻结记录
freeze.json:2026-10-09 02:24:02(+0800),sha2562cef537d…,早于 OVERLAP-V1 的任何结果。 - 第一次冻结(未训练)被替换:
- 它没有"每条记录最多 4 个查询帧"的限制,冻结的额外视角规则因此剔除了 40 个重叠最多的扫描。
- 那次冻结整体保留在
first_freeze_without_cap/,替换前没有任何训练。
- 训练:
- 冻结的 V17 L 代码与配方不变:24000 步,3 个种子,CPU AVX2 单线程,每个种子约 6.5 小时。
- 训练集是 151 个 ARKit TRAIN 扫描。另有 31 个扫描的合格帧不足 2 个,被剔除。
- 训练查询是两个角色的上下文命中比例都 ≥ 0.05 的帧,最多 4 个。
- 首次启动因缺少
checkpoints/目录立即失败。这与 V21 是同一个启动事故,建目录后重新启动,见audit/execution_note.txt。 - 训练中冻结代码对 Hypersim DEV 的评估只作记录:ARKit 训练后,模型在 Hypersim DEV 上变差(第 24000 步为 0.36–0.46)。
- 评估: ARKIT160_OVERLAP,与 OVERLAP-V1 相同。G1 与 GA 在同一个 arms 封存中评估,各 3 个种子,用第 24000 步。
- G1N 与 HGN 的均值和 OVERLAP-V1 完全一致(0.3437、0.3596),可作交叉核对。
- 分析运行两次,结果逐字节相同。
- 统计: 单位是场景,bootstrap 10,000 次,种子 20260928,判定用 V2 gate。
结果
FARH 为有上下文命中的查询的 FAR,147 个场景。
| 编号 | 对比(> 0 表示右边更好) | 区域 | 均值 | 95% CI | 好/平/差 | 中位数 | 状态 |
|---|---|---|---|---|---|---|---|
| C1 | H3 − GAN | FARH | +0.1215 | [+0.0676, +0.1806] | 79/0/68 | +0.012 | PARTIAL |
| C2 | G1N − GAN | FARH | +0.0138 | [−0.0049, +0.0317] | 80/0/67 | +0.009 | NOT_ESTABLISHED |
| S1 | H3 − HGAN | FARH | +0.0923 | [+0.0616, +0.1264] | 100/0/47 | +0.031 | PARTIAL |
| S2 | HGN − HGAN | FARH | +0.0005 | [−0.0124, +0.0133] | 81/0/66 | +0.003 | NOT_ESTABLISHED |
| S3 | H3 − G1N | FARH | +0.1077 | [+0.0504, +0.1698] | 68/0/79 | −0.013 | PARTIAL |
| S4 | H3 − HGN | FARH | +0.0918 | [+0.0596, +0.1263] | 86/0/61 | +0.009 | PARTIAL |
| S5 | H3CAL − GAN_CAL | FAR,全部查询(155 场景) | +0.1062 | [+0.0579, +0.1595] | 85/1/69 | +0.005 | PARTIAL |
| S6 | H3 − GAN | NEAR(153 场景) | +0.0339 | [+0.0001, +0.0731] | 61/0/92 | −0.008 | PARTIAL |
均值:
| 读出 | FARH | FAR(全部查询) | NEAR | FARH 弃权比例 |
|---|---|---|---|---|
| H3(调和插值) | 0.452 | 0.614 | 0.143 | — |
| H3CAL | 0.452 | 0.430 | 0.143 | — |
| G1N(Hypersim) | 0.344 | 0.495 | 0.183 | 0.20 |
| GAN(ARKit,重叠感知) | 0.330 | 0.469 | 0.109 | 0.13 |
| GAN_CAL | 0.330 | 0.324 | 0.109 | — |
| HGN | 0.360 | 0.517 | 0.151 | — |
| HGAN | 0.359 | 0.509 | 0.117 | — |
按来源队列,FARH 上 H3 → GAN:ARKIT_VAL 0.471 → 0.325,ARKIT_CONFIRM 0.431 → 0.335。
解读
- 真实数据训练让载体更"敢"预测,但几乎没有更准。
- GA 的弃权比例从 20% 降到 13%,NEAR 上明显更好(0.109 对 0.183)。
- 但在 FARH 上只比 Hypersim 训练的 G1 略好,且不显著。
- "平均有效、逐场景不稳"是这类补全在真实数据上的共同特征,不取决于模型。
- 小载体和 DepthSplat、合成数据和真实数据、均匀目标和重叠目标,结果都一样:平均误差降约 1/4,但只有一半多的场景变好。
- OVERLAP-V1 的事后探索还表明,按像素做一致性门控也不能改变这一点。
- 最稳妥的用法是与调和插值取平均。 HGAN 让 68% 的场景变好、中位数 +0.031,是目前在真实数据上最接近一致的补全方案。
- 下一步可以在全新扫描上预注册检验它。
- 也可以研究场景级的选择:判断哪些场景该用学到的补全,哪些该用调和插值。
文件
PROTOCOL.md、freeze.json、first_freeze_without_cap/(被替换的第一次冻结,未训练)GA/EXP-3D-RGBD-LONG-TRAIN-V17/:V17 风格的训练根目录,含冻结记录、训练日志与 checkpointscode/:prepare_ga.py、ga_make_eval.py、ga_score.py、ga_jobs.shevaluation_contract.json、frame_role_lock.json(复制自 OVERLAP-V1)、raw/eval/ARKIT160_OVERLAP/(arms 封存)scores/、results/、audit/(含完整测试套件日志、启动事故说明)