EXP-3D-RGBD-FULL-SYSTEM-ARKIT-V3:Hypersim 小载体 G1 的选择性集成能否改进 Core B(独立检验)
结论:G1_SYSTEM_IMPROVEMENT_NOT_ESTABLISHED,G1_SYSTEM_BEATS_MODEL_FREE。Core B 第五次在全新扫描上复现(149/0/11)。
- 主检验 P1(不成立): V2 次要分析中成立的 G1 接法,在 160 个全新扫描上方向为正,但不显著。
- 结果为 +0.0010 [−0.0003, +0.0025],好/平/差 38/99/23;ALL 从 0.1569 降到 0.1559。
- 99 个场景是平局,SYS_G1 与 CORE_B 完全相同:其中 84 个场景两个角色都未被选中;另外 15 个场景虽有角色被选中,但接法没有改变任何被计分像素的值。
- FAR7 中有小而稳定的改进(S1,次要):
- +0.0062 [+0.0010, +0.0118],36/96/25,SUPPORTED;FAR7 从 0.2983 降到 0.2921。
- FAR7 只占有效像素的 22%,摊到 ALL 后不显著。
- 主检验 P2(成立): 完整系统稳定胜过无模型方法,+0.0071 [+0.0047, +0.0097],139/0/21。这主要来自 Core B 本身。
- Core B 第五次复现(S2): +0.0061 [+0.0042, +0.0082],149/0/11,是五次中最一致的一次。TTT 本身的增益(S3)为 +0.0064,130/0/30。
- 三次检验合起来看:
- G1 接法在 V1(事后计算)为 +0.0002,V2(次要分析)为 +0.0042,V3(预注册主检验,160 个扫描)为 +0.0010。
- 即使效应存在,也只有约 0.5%,本研究的样本量不足以确认。
- 完整系统的实用结论仍是 Core B。
说明:
- 预注册: 见 PROTOCOL.md。计划锁写于 2026-10-09 14:50:58,早于任何新数据下载;正式锁定于 15:08:10,sha256
0a33ebdf…。 - 数据: EXP-3D-RGBD-ARKIT-SYSTEM3-DATA-V1。
- 取训练折种子顺序第 1000–1359 位场馆(360 个,33.8 GB),按顺序准备到 160 个合格(109 个不合格),此前从未被使用。
- 320 个 episode 中有 125 个被选中(S ≥ 1.2)。FAR7 平均占有效像素的 22.3%。
- 执行:
- TTT 分 4 个分片运行,每个 160 个查询、约 2.35 小时,峰值显存 5.1 GB,GPU 4 与另一用户的常驻进程共用。
- arms、几何(回放差值 0)、7 帧三个封存都在 CPU 上完成。
- 分析运行两次,结果逐字节相同。
- 统计: 统计单位是场景,bootstrap 10,000 次,种子 20260928,判定用 V2 gate。
结果
| 编号 | 对比(> 0 表示右边更好) | 区域 | 均值 | 95% CI | 好/平/差 | 状态 |
|---|---|---|---|---|---|---|
| P1 | CORE_B − SYS_G1 | ALL | +0.0010 | [−0.0003, +0.0025] | 38/99/23 | NOT_ESTABLISHED |
| P2 | R7 − SYS_G1 | ALL | +0.0071 | [+0.0047, +0.0097] | 139/0/21 | SUPPORTED |
| S1 | CORE_B − SYS_G1 | FAR7(157 场景) | +0.0062 | [+0.0010, +0.0118] | 36/96/25 | SUPPORTED |
| S2 | R7 − CORE_B | ALL | +0.0061 | [+0.0042, +0.0082] | 149/0/11 | SUPPORTED |
| S3 | ZS_CACHE_F7 − ZS_TTT_F7 | ALL | +0.0064 | [+0.0044, +0.0089] | 130/0/30 | SUPPORTED |
| S4 | CORE_B − SYS_G1_ALL | ALL | +0.0011 | [−0.0024, +0.0050] | 59/41/60 | NOT_ESTABLISHED |
| S5 | CORE_B − SYS_GA | ALL | +0.0003 | [−0.0017, +0.0020] | 37/99/24 | NOT_ESTABLISHED |
| S6 | R7 − G17 | FAR7 | −0.0080 | [−0.0281, +0.0125] | 42/38/77 | NOT_ESTABLISHED |
| S7 | R7 − GA7 | FAR7 | −0.0098 | [−0.0291, +0.0095] | 46/37/74 | NOT_ESTABLISHED |
均值(AbsRel):
| 读出 | ALL | FAR7 |
|---|---|---|
| R7(7 帧重投影 + 调和插值) | 0.1630 | 0.3037 |
| ZS_CACHE_F7 | 0.1608 | 0.2973 |
| ZS_TTT_F7 | 0.1544 | 0.2980 |
| CORE_B | 0.1569 | 0.2983 |
| SYS_G1(G1,选择后) | 0.1559 | 0.2921 |
| SYS_G1_ALL(G1,不选择) | 0.1558 | 0.2903 |
| SYS_GA(GA,选择后) | 0.1566 | 0.2963 |
| G17(FAR7 单独用 7 帧 G1) | 0.1648 | 0.3117 |
| GA7(FAR7 单独用 7 帧 GA) | 0.1636 | 0.3134 |
三个完整系统实验的对照
| 对比(ALL) | V1(SYSTEM,80 个扫描) | V2(SYSTEM2,80 个扫描) | V3(SYSTEM3,160 个扫描) |
|---|---|---|---|
| G1 接法:CORE_B − SYS_G1 | +0.0002,17/49/14(事后计算) | +0.0042,21/43/16(次要,SUPPORTED) | +0.0010,38/99/23(主检验,NOT_ESTABLISHED) |
| GA 接法:CORE_B − SYS_GA | +0.0025,20/50/10(样本内挑出) | −0.0022,16/42/22(主检验,NOT_ESTABLISHED) | +0.0003,37/99/24(次要,NOT_ESTABLISHED) |
| Core B:R7 − CORE_B | +0.0047,71/0/9 | +0.0049,70/0/10 | +0.0061,149/0/11 |
解读
- Core B 是这条研究线最稳健的结果。
- 它已在五个独立队列上复现:一个合成队列(Hypersim EVAL34),四个真实队列(ARKit VAL80、SYSTEM、SYSTEM2、SYSTEM3)。
- V3 是其中最大的一个(160 个扫描),一致性也最高,93% 的场景变好。
- 真实数据上的绝对增益约 4%(0.163 → 0.157)。
- 补全接入 Core B 的价值没有确立。
- G1 接法在 FAR7 内有小的稳定改进(S1),但对整体只有约 0.5% 的贡献。三次检验中,它只有一次(次要分析)达到显著。
- GA 接法三次都不成立。
- 两种 7 帧载体单独用在 FAR7 时都不如 R7(S6、S7);它们只有与 R7 取几何平均、并且只用在被选中的 episode 时才略有帮助。
- 均值与一致性的取舍。 TTT 单独(ZS_TTT_F7)的均值在 V2、V3 上都低于 Core B(V3:0.1544 对 0.1569)。但在以往的复现中,TTT 单独对 R7 的一致性较低(ARKIT_VAL 上 62/18)。Core B 用几何平均换来了一致性。
文件
PROTOCOL.md、preregistration.json、audit/plan_locked_at.txtframe_role_lock.json、evaluation_contract.json、selector_seal.jsoncode/:建目录、锁定、任务与打分脚本(由 V2 的脚本逐字替换派生),以及eval_carrier_7view.py(与 V2 及 V1 事后探索的脚本逐字节相同)raw/eval/ARKIT_SYSTEM3/:3 帧 arms 封存raw/eval7/ARKIT_SYSTEM3/:7 帧封存geometry/、ds/ARKIT_SYSTEM3/ZS/scores/、results/、audit/- 数据准备:
../EXP-3D-RGBD-ARKIT-SYSTEM3-DATA-V1/