EXP-3D-RGBD-FULL-SYSTEM-ARKIT-V1:TTT 集成加上按深度范围选择的补全
结论:FULL_SYSTEM_IMPROVEMENT_NOT_ESTABLISHED,FULL_SYSTEM_VS_MODEL_FREE_NOT_ESTABLISHED;Core B 在全新扫描上第三次复现(SUPPORTED)。
- 主检验 P1(不成立): 把"按深度范围选择的补全"接进 Core B 的 FAR7 区域,没有改进 Core B。ALL 上为 −0.0031 [−0.0102, +0.0021],好/平/差 15/49/16。
- 原因在 FAR7 区域: 只用 3 个上下文帧的小载体,比用全部 7 帧做的调和插值更差(0.291 对 0.270);不做选择时更差(0.330)。
- 7 帧里有紧挨查询的流式帧(第 13 帧),所以 7 帧插值的边界条件比 3 个上下文帧的补全好得多。
- 选择规则是针对"3 个上下文帧 vs 3 帧调和插值"标定的,在这里不适用。
- 次要分析 S2:TTT 集成(Core B)在 80 个全新扫描上再次稳定胜过无模型方法。 +0.0047 [+0.0034, +0.0060],71/0/9,SUPPORTED。
- 这是第三次复现:Hypersim EVAL34 71/12,ARKit VAL80 71/9,本次 71/9。
- TTT 本身的增益(S3):+0.0071,61/0/19,SUPPORTED。
说明:
- 预注册: 见 PROTOCOL.md。计划锁于 2026-10-09 11:28:13 记录,早于任何新数据下载;正式锁定于 11:35:44,sha256
8bfe2c18…。 - 数据: EXP-3D-RGBD-ARKIT-SYSTEM-DATA-V1。
- 取训练折种子顺序第 680–839 位场馆,按顺序准备到 80 个合格扫描为止(75 个不合格)。
- 这批扫描与所有训练数据、评估队列都不相交,此前从未被使用。
- episode 由上下文 3 帧 + 流式帧 4 帧组成,查询为第 14、15 帧。
- 160 个 episode 中有 69 个被选中(S ≥ 1.2)。FAR7 平均占有效像素的 24.5%。
- 执行:
- 发布权重(上限 0.1)的 CACHE 与 TTT:4 个分片,每个约 1.2 小时,GPU 4 与另一用户的常驻进程共用。
- G1、GA 用 arms 评估器;7 帧几何封存对 arms 封存回放,差值为 0。
- 分析运行两次,结果逐字节相同。
- 统计: 统计单位是场景,bootstrap 10,000 次,种子 20260928,判定用 V2 gate。
结果
| 编号 | 对比(> 0 表示右边更好) | 区域 | 均值 | 95% CI | 好/平/差 | 状态 |
|---|---|---|---|---|---|---|
| P1 | CORE_B − FULL | ALL | −0.0031 | [−0.0102, +0.0021] | 15/49/16 | NOT_ESTABLISHED |
| P2 | R7 − FULL | ALL | +0.0015 | [−0.0058, +0.0070] | 62/0/18 | NOT_ESTABLISHED |
| S1 | CORE_B − FULL | FAR7(75 场景) | −0.0220 | [−0.0506, +0.0028] | 14/44/17 | NOT_ESTABLISHED |
| S2 | R7 − CORE_B | ALL | +0.0047 | [+0.0034, +0.0060] | 71/0/9 | SUPPORTED |
| S3 | ZS_CACHE_F7 − ZS_TTT_F7 | ALL | +0.0071 | [+0.0041, +0.0103] | 61/0/19 | SUPPORTED |
| S4 | CORE_B − FULL_G1 | ALL | −0.0023 | [−0.0087, +0.0029] | 15/49/16 | NOT_ESTABLISHED |
| S5 | CORE_B − FULL_ALL | ALL | −0.0053 | [−0.0166, +0.0071] | 21/22/37 | NOT_ESTABLISHED |
| S6 | FULL_ALL − FULL | ALL | +0.0022 | [−0.0090, +0.0110] | 23/46/11 | NOT_ESTABLISHED |
均值(AbsRel):
| 读出 | ALL | NEAR7 | FAR7 |
|---|---|---|---|
| R7(7 帧重投影 + 调和插值) | 0.152 | 0.069 | 0.270 |
| ZS_CACHE_F7 | 0.153 | 0.071 | 0.267 |
| ZS_TTT_F7 | 0.146 | 0.062 | 0.269 |
| CORE_B = sqrt(R7 × ZS_TTT_F7) | 0.148 | 0.064 | 0.269 |
| FULL(选择后,GA) | 0.151 | 0.064 | 0.291 |
| FULL_G1(选择后,G1) | 0.150 | 0.064 | 0.283 |
| FULL_ALL(不选择,GA) | 0.153 | 0.064 | 0.330 |
解读
- Core B 是稳健的。 三个独立的评估队列(合成的 EVAL34、真实的 VAL80、真实的 SYSTEM80)都给出了 71/9 到 71/12 的结果:TTT 写入学到的状态,再与 7 帧重投影集成,稳定胜过无模型方法。但真实数据上的绝对增益很小(ALL 从 0.152 降到 0.148)。
- 只看 3 个上下文帧的补全,不能为 7 帧系统增加价值。 在流式设置里,FAR7 区域周围有紧挨查询的帧作为插值边界。远处的 3 个上下文帧提供的补全,比不上这些近处边界的插值。
- 下一步如果要整合两条线,补全模型需要吃进全部 7 帧。 小载体在训练时本来就支持 3–7 个视角,可以直接这样评估。选择规则(深度范围阈值)也需要在 7 帧设置下重新标定。
文件
PROTOCOL.md、preregistration.json、audit/plan_locked_at.txtframe_role_lock.json、evaluation_contract.jsonselector_seal.json:读真值之前封存的 S 与选择决定code/:建目录、锁定、任务与打分脚本raw/eval/ARKIT_SYSTEM/:arms 封存(G1、GA)geometry/:7 帧几何封存ds/ARKIT_SYSTEM/ZS/:发布权重的 CACHE 与 TTT 封存scores/、results/、audit/- 数据准备:
../EXP-3D-RGBD-ARKIT-SYSTEM-DATA-V1/
事后探索:7 帧载体(探索性,样本内)
上面的失败原因是:补全只看到了 3 个上下文帧。小载体训练时就支持 3–7 个视角,所以 exploratory_posthoc/eval_carrier_7view.py 用全部 7 帧(上下文 + 流式帧)为 G1、GA 建状态并封存,full7_explore.* 在同一批数据上比较了 9 种接入方式:
| FAR7 中替换 R7 的方式 | FAR7 AbsRel | 接进 Core B 后的 ALL 变化(CORE_B − X) | 好/平/差 |
|---|---|---|---|
| R7(Core B 现状) | 0.270 | — | — |
| 3 帧 GA | 0.339 | — | — |
| 7 帧 GA,所有 episode | 0.295 | +0.0039 | 28/23/29 |
| sqrt(R7 × 7 帧 GA),所有 episode | 0.271 | +0.0053 [+0.0002, +0.0122] | 32/23/25 |
| sqrt(R7 × 7 帧 GA),只在 S ≥ 1.2 的 episode | — | +0.0025 [+0.0005, +0.0049] | 20/50/10 |
- 7 帧载体比 3 帧好得多,但单独使用仍不如 R7。
- 把它与 R7 取几何平均后接入 Core B,效果最好。 这相当于把 R7、GA、TTT 三者集成,在样本内带来小而一致的改进。按深度范围选择后,最一致的组合让 ALL 从 0.1475 降到 0.1451。
- 这是从 9 种变体里挑出来的,需要在全新数据上确认。 确认实验见 EXP-3D-RGBD-FULL-SYSTEM-ARKIT-V2。