# EXP-3D-RGBD-COMPLETION-SELECTOR-ARKIT-V1:用上下文深度范围决定何时使用学到的补全 **结论:SELECTOR_CONSISTENT。** - **主检验通过(P1)。** - 在 80 个全新的 ARKit 真实扫描上,规则是:上下文深度范围 S ≥ 1.2 时用 ARKit 训练的补全载体(GA),否则用调和插值。 - 这条规则稳定胜过调和插值:FARH AbsRel 从 0.523 降到 0.411,差值 +0.1115 [+0.0600, +0.1675],好/平/差 32/31/9。 - 88% 的场景不变差,逐一剔除场景后的均值都为正,单个场景的最大正贡献占比 0.11,V2 gate 全部通过。 - **这是这条研究线上第一个预注册、样本外、在真实数据上通过 V2 gate 的补全结果。** - **规则对三种模型都成立:** - Hypersim 训练的小载体 G1:+0.114,31/31/10,SUPPORTED; - ARKit 训练的 DepthSplat 逆向 JEPA(JO):+0.073,29/31/12,SUPPORTED。 - **不做选择时,三种模型都只是 PARTIAL。** 例如 GA 为 +0.101,但只有 42/72 个场景变好。选择几乎不损失平均增益:GA − SEL_GAN = +0.0105,不显著。 - **机制很清楚:** - 上下文深度变化大的查询(118 个):调和插值误差 0.694,GA 0.447,GA 在 81% 的查询上更好。 - 深度变化小的查询(100 个):调和插值本来就准(0.292),GA 反而略差(0.305),只在 39% 的查询上更好。 - 场景层面,深度范围与 GA 增益的 Spearman 相关为 +0.57,与样本内的 +0.42 到 +0.56 一致。 **说明:** - **预注册:** 见 [PROTOCOL.md](PROTOCOL.md)。 - 计划锁:2026-10-09 10:42:42,写在下载任何新数据之前(`audit/plan_locked_at.txt`)。 - 正式锁定:10:51:00,sha256 `c6dc93e1…`。 - 规则与阈值 1.2 来自 EXP-3D-RGBD-CARRIER-ARKIT-OVERLAP-V1 的事后探索(样本内);本实验是它在全新数据上的第一次检验。 - **修订 1(11:05:48,只修复打分代码的一个错误):** - 第一次打分时,有些查询 NEAR 之外没有像素,"分歧"一项为 NaN,写文件时被拒,运行中止。中止前没有产生、也没有看到任何结果。 - 修复:这类查询的分歧记为空值。它们本来就没有 FARH 像素,不进入任何对比。 - 原文件和失败日志都保留在 `audit/`。 - **数据:** EXP-3D-RGBD-ARKIT-SELECT-DATA-V1。 - 取训练折种子顺序第 520–679 位场馆,按顺序准备到 80 个合格(62 个不合格)。 - 这些场馆与所有训练数据、VAL 和 CONFIRM 队列都不相交,此前从未被使用。 - 查询为第 6、7 帧。320 个查询中有 72 个没有上下文命中,72 个场景有 FARH 像素。 - 160 个 episode 中有 70 个 S ≥ 1.2;在有命中查询的 131 个 episode 中,有 65 个被选中。 - **模型:** 全部冻结,本实验不训练任何模型。 - G1、GA:arms 评估器,CPU,各 3 个种子,第 24000 步。 - JO1–JO3:V1 的 `ds_eval.py`,只跑 CTX,尺度上限 3.0,GPU。 - **执行与统计:** - 分析运行两次,结果逐字节相同。 - 统计单位是场景,bootstrap 10,000 次,种子 20260928,判定用 V2 gate;平局(选择器取 H3 的场景)计为不变差。 ## 结果(FARH,72 个场景) | 编号 | 对比(> 0 表示右边更好) | 均值 | 95% CI | 好/平/差 | 状态 | | --- | --- | ---: | --- | --- | --- | | **P1** | H3 − SEL_GAN | +0.1115 | [+0.0600, +0.1675] | 32/31/9 | **SUPPORTED** | | S1 | H3 − SEL_G1N | +0.1138 | [+0.0516, +0.1795] | 31/31/10 | SUPPORTED | | S2 | H3 − SEL_JO | +0.0731 | [+0.0235, +0.1305] | 29/31/12 | SUPPORTED | | S3 | H3 − GAN | +0.1009 | [+0.0420, +0.1623] | 42/0/30 | PARTIAL | | S4 | H3 − G1N | +0.0839 | [+0.0122, +0.1567] | 37/0/35 | PARTIAL | | S5 | H3 − JO | +0.0742 | [+0.0216, +0.1343] | 42/0/30 | PARTIAL | | S6 | GAN − SEL_GAN | +0.0105 | [−0.0110, +0.0343] | 23/34/15 | NOT_ESTABLISHED | | S7 | H3 − HGAN | +0.0785 | [+0.0480, +0.1113] | 50/0/22 | PARTIAL | | S8 | H3 − DSEL_GAN | +0.0993 | [+0.0435, +0.1585] | 32/28/12 | SUPPORTED | **FARH 均值:** | 读出 | FARH AbsRel | | --- | ---: | | H3(调和插值) | 0.523 | | GAN | 0.422 | | G1N | 0.439 | | JO | 0.448 | | HGAN | 0.444 | | **SEL_GAN** | **0.411** | | SEL_G1N | 0.409 | | SEL_JO | 0.449 | | DSEL_GAN | 0.423 | ## 解读 - **学到的补全在真实数据上的"不一致"是可预测的。** - 调和插值在深度层次丰富的场景里失败,学到的补全在那里大幅改善;在近似平面的场景里,调和插值已经很好,学到的补全只会添乱。 - 上下文深度范围(三个上下文帧测得深度的 (p90 − p10) / 中位数)不需要任何真值,就能把这两类场景分开。 - **这条规则与模型无关。** 对 ARKit 训练的小载体、Hypersim 训练的小载体和 DepthSplat 逆向 JEPA 都有效。所以它反映的是场景几何的性质,而不是某个模型的特点。 - **实用意义:** 在真实 RGB-D 序列上补全未观测区域,可以用"深度范围 ≥ 1.2 时用学到的补全,否则用调和插值"。在本队列上,平均误差降低约 21%,而且 88% 的场景不变差。 - **局限:** - 只有 80 个扫描(72 个有 FARH)。 - 只检验了近处视角(第 6、7 帧)。 - 阈值来自一次样本内探索,没有优化过,换一个数据集可能需要重新标定。 ## 文件 - `PROTOCOL.md`(末尾追加了修订 1)、`preregistration.json`、`audit/plan_locked_at.txt` - `frame_role_lock.json`、`evaluation_contract.json`、`manifest_arkit_select_overlap.json` - `selector_seal.json`:每个 episode 的 S 与选择决定,在读取任何真值之前封存 - `code/`:建目录、锁定、任务与打分脚本 - `raw/eval/ARKIT_SELECT/`:arms 封存(G1、GA) - `ds/ARKIT_SELECT/`:JO1–3 的 DepthSplat 封存 - `scores/`、`results/` - `audit/`:修订 1、原打分文件、失败日志 - 数据准备:`../EXP-3D-RGBD-ARKIT-SELECT-DATA-V1/` ## 事后探索:Hypersim 上的同一规则(探索性) `exploratory_posthoc/hypersim_selector_check.*` 在 Hypersim 的 EVAL34 与 FRESH78 上,对 Hypersim 训练的小载体 G1(归一化读出)检查同一条规则。这两个队列已被反复使用,只作参考。 | 队列 | S 与增益的 Spearman | H3 − G1N | H3 − SEL(S ≥ 1.2) | | --- | ---: | --- | --- | | EVAL34 | −0.04 | +0.155,56/0/24 | +0.047,19/51/10(88% 不变差) | | FRESH78 | +0.21 | +0.127,54/0/23 | +0.065,31/40/6(92% 不变差) | - **在合成数据上,深度范围几乎不能预测增益。** 学到的补全在大多数场景都有帮助(约 70%),所以选择虽然也让结果一致,但会丢掉一半以上的平均增益。 - **在真实数据(ARKit)上,这个信号很强。** 深度变化小的场景里,调和插值已经很准(0.29),学到的补全没有用处,所以选择几乎不损失增益。 - **这条规则的价值取决于数据,不能当作普适的几何规律。** 它适用于真实 RGB-D 扫描。换到新的数据集,应该先检查 S 与增益的关系。