# EXP-3D-RGBD-CARRIER-ARKIT-OVERLAP-V1:用 ARKit 真实数据做重叠感知训练的旧基座补全载体 **结论:REAL_CARRIER_PARTIAL,REAL_DATA_CARRIER_NOT_ESTABLISHED。** - **C1,PARTIAL:** - 旧基座的补全载体(G1 架构,约 6.4 万参数)改用 ARKit 训练折、只用有重叠的训练目标重新训练,得到 GA。 - 在有重叠的新查询(第 6、7 帧)上,GA 平均明显好于调和插值:FARH AbsRel 从 0.452 降到 0.330(约 −27%),+0.1215 [+0.0676, +0.1806]。 - 但只有 79/147 个场景变好,中位数 +0.012。 - **C2,NOT_ESTABLISHED:** 与 Hypersim 训练的 G1 相比,ARKit 训练没有带来可确认的改进:0.330 对 0.344,+0.0138 [−0.0049, +0.0317],80/0/67。 - **与调和插值取平均(HGAN)是本轮最一致的组合:** 100/0/47,即 68% 的场景变好,中位数 +0.031。它仍是 PARTIAL,没到 75%。 - **与 OVERLAP-V1 合起来看:** - 同样的查询上,四种学到的补全给出几乎相同的平均误差:Hypersim 训练的 G1N 0.344、ARKit 训练的 GA 0.330,DepthSplat 逆向 JEPA 的 JA 0.337 和 JO 0.341。 - 一致性也几乎相同,都在 50–55% 的场景变好。 - 模型类型、训练数据和训练目标的选择,对这个结果影响都很小。 **说明:** - **预注册:** 见 [PROTOCOL.md](PROTOCOL.md)。冻结记录 `freeze.json`:2026-10-09 02:24:02(+0800),sha256 `2cef537d…`,早于 OVERLAP-V1 的任何结果。 - **第一次冻结(未训练)被替换:** - 它没有"每条记录最多 4 个查询帧"的限制,冻结的额外视角规则因此剔除了 40 个重叠最多的扫描。 - 那次冻结整体保留在 `first_freeze_without_cap/`,替换前没有任何训练。 - **训练:** - 冻结的 V17 L 代码与配方不变:24000 步,3 个种子,CPU AVX2 单线程,每个种子约 6.5 小时。 - 训练集是 151 个 ARKit TRAIN 扫描。另有 31 个扫描的合格帧不足 2 个,被剔除。 - 训练查询是两个角色的上下文命中比例都 ≥ 0.05 的帧,最多 4 个。 - 首次启动因缺少 `checkpoints/` 目录立即失败。这与 V21 是同一个启动事故,建目录后重新启动,见 `audit/execution_note.txt`。 - 训练中冻结代码对 Hypersim DEV 的评估只作记录:ARKit 训练后,模型在 Hypersim DEV 上变差(第 24000 步为 0.36–0.46)。 - **评估:** ARKIT160_OVERLAP,与 OVERLAP-V1 相同。G1 与 GA 在同一个 arms 封存中评估,各 3 个种子,用第 24000 步。 - G1N 与 HGN 的均值和 OVERLAP-V1 完全一致(0.3437、0.3596),可作交叉核对。 - 分析运行两次,结果逐字节相同。 - **统计:** 单位是场景,bootstrap 10,000 次,种子 20260928,判定用 V2 gate。 ## 结果 FARH 为有上下文命中的查询的 FAR,147 个场景。 | 编号 | 对比(> 0 表示右边更好) | 区域 | 均值 | 95% CI | 好/平/差 | 中位数 | 状态 | | --- | --- | --- | ---: | --- | --- | ---: | --- | | **C1** | H3 − GAN | FARH | +0.1215 | [+0.0676, +0.1806] | 79/0/68 | +0.012 | **PARTIAL** | | **C2** | G1N − GAN | FARH | +0.0138 | [−0.0049, +0.0317] | 80/0/67 | +0.009 | **NOT_ESTABLISHED** | | S1 | H3 − HGAN | FARH | +0.0923 | [+0.0616, +0.1264] | 100/0/47 | +0.031 | PARTIAL | | S2 | HGN − HGAN | FARH | +0.0005 | [−0.0124, +0.0133] | 81/0/66 | +0.003 | NOT_ESTABLISHED | | S3 | H3 − G1N | FARH | +0.1077 | [+0.0504, +0.1698] | 68/0/79 | −0.013 | PARTIAL | | S4 | H3 − HGN | FARH | +0.0918 | [+0.0596, +0.1263] | 86/0/61 | +0.009 | PARTIAL | | S5 | H3CAL − GAN_CAL | FAR,全部查询(155 场景) | +0.1062 | [+0.0579, +0.1595] | 85/1/69 | +0.005 | PARTIAL | | S6 | H3 − GAN | NEAR(153 场景) | +0.0339 | [+0.0001, +0.0731] | 61/0/92 | −0.008 | PARTIAL | **均值:** | 读出 | FARH | FAR(全部查询) | NEAR | FARH 弃权比例 | | --- | ---: | ---: | ---: | ---: | | H3(调和插值) | 0.452 | 0.614 | 0.143 | — | | H3CAL | 0.452 | 0.430 | 0.143 | — | | G1N(Hypersim) | 0.344 | 0.495 | 0.183 | 0.20 | | **GAN(ARKit,重叠感知)** | **0.330** | 0.469 | **0.109** | 0.13 | | GAN_CAL | 0.330 | **0.324** | 0.109 | — | | HGN | 0.360 | 0.517 | 0.151 | — | | HGAN | 0.359 | 0.509 | 0.117 | — | 按来源队列,FARH 上 H3 → GAN:ARKIT_VAL 0.471 → 0.325,ARKIT_CONFIRM 0.431 → 0.335。 ## 解读 - **真实数据训练让载体更"敢"预测,但几乎没有更准。** - GA 的弃权比例从 20% 降到 13%,NEAR 上明显更好(0.109 对 0.183)。 - 但在 FARH 上只比 Hypersim 训练的 G1 略好,且不显著。 - **"平均有效、逐场景不稳"是这类补全在真实数据上的共同特征,不取决于模型。** - 小载体和 DepthSplat、合成数据和真实数据、均匀目标和重叠目标,结果都一样:平均误差降约 1/4,但只有一半多的场景变好。 - OVERLAP-V1 的事后探索还表明,按像素做一致性门控也不能改变这一点。 - **最稳妥的用法是与调和插值取平均。** HGAN 让 68% 的场景变好、中位数 +0.031,是目前在真实数据上最接近一致的补全方案。 - 下一步可以在全新扫描上预注册检验它。 - 也可以研究场景级的选择:判断哪些场景该用学到的补全,哪些该用调和插值。 ## 文件 - `PROTOCOL.md`、`freeze.json`、`first_freeze_without_cap/`(被替换的第一次冻结,未训练) - `GA/EXP-3D-RGBD-LONG-TRAIN-V17/`:V17 风格的训练根目录,含冻结记录、训练日志与 checkpoints - `code/`:`prepare_ga.py`、`ga_make_eval.py`、`ga_score.py`、`ga_jobs.sh` - `evaluation_contract.json`、`frame_role_lock.json`(复制自 OVERLAP-V1)、`raw/eval/ARKIT160_OVERLAP/`(arms 封存) - `scores/`、`results/`、`audit/`(含完整测试套件日志、启动事故说明)