EXP-3D-CAJU3D-SYSTEM4-HOLDOUT-V1:全新保留队列上的读出检验
结论:LEARNED_READOUT_PARTIAL。 在 52 个今晚之前从未准备、从未评测过的 ARKit 场所上:
- 两个学到的读出都大幅改善 Core B:
- V2(按计划新训练):0.1462 → 0.0923,47/0/5;
- V1(冻结):0.1462 → 0.0960,46/0/6。
- 均值的置信区间都不含 0,去掉任一场所后的估计全部为正。
- 为什么是 PARTIAL 而不是 SUPPORTED:改善最多的一个场所贡献了超过一半的正向收益(52% 和 56%),没有通过 V2 判定的"头部占比 ≤ 0.5"检查。
- 卡尔曼式分箱表:在第四批全新场所上再次复现,SUPPORTED。
- 锁定顺序:
- 计划于 2026-10-14 22:39:36 锁定(sha256
65dbce23…),早于任何 SYSTEM4 数据准备;
- V2 训练代码于 22:43:21 锁定;
- 评估代码于 22:45:40 锁定,早于任何 SYSTEM4 预测。
- 队列 ARKIT_SYSTEM4:
- 来源:SYSTEM3 下载批次中从未准备过的 91 个扫描(批内第 269–359 位)。
- 用不变的基础规则准备(
scripts/prepare_rgbd_arkit_system4_cohort.py),52 个合格,39 个不合格;没有下载任何数据。
- 片段与 Core B 的流程和 FULL-SYSTEM-V3 相同:臂评估器封存、V1 几何封存,以及 V1 的 ds_eval(发布版权重,100 步 TTT,GPU 4,4 个进程约 30 分钟)。
- 读出:
- CORE_B;
- KF_BASE:KFUSE-V1 冻结的分箱表;
- FUSE_V1:FUSENET-V1 冻结的三个 BASE 网络;
- FUSE_V2:按计划的固定配方训练:
- 已覆盖像素用 KF_BASE 的权重,只学未覆盖像素的修正;
- 主干膨胀率为 1、2、4、8、16、1;
- 训练数据为除 SYSTEM4 外的 458 个场所(SYSTEM、SYSTEM2、SYSTEM3、VAL、CAJU 场所),10% 作为验证集;
- 3 个种子在 GPU 4 上共用 213 秒;验证集上从 KF_BASE 的 0.1006 降到 0.079–0.080。
- 盲评:所有读出逐查询封存(readout_seal.json)之后,才经 TeacherAccess 读取 SYSTEM4 的真值;分析运行两次,逐字节一致。
| 读出 |
SYSTEM4 均值 |
对 Core B(正值表示更好) |
场所 好/平/坏 |
判定 |
| CORE_B |
0.14615 |
— |
— |
— |
| KF_BASE |
0.14265 |
+0.00350 [+0.00178, +0.00585] |
42/0/10 |
SUPPORTED |
| FUSE_V1 |
0.09599 |
+0.05016 [+0.01566, +0.11100] |
46/0/6 |
PARTIAL(头部占比 0.56) |
| FUSE_V2 |
0.09228 |
+0.05387 [+0.01859, +0.11510] |
47/0/5 |
PARTIAL(头部占比 0.52) |
- 其它对比:
- V1 − V2:+0.00371 [+0.00110, +0.00659],37/0/15,PARTIAL,V2 更好;
- KF_BASE − V2:+0.05037,44/0/8,PARTIAL。
- 去掉任一场所后的范围:P1 为 [+0.026, +0.055],P2 为 [+0.022, +0.051]。
- 像素级 AbsRel:
| 读出 |
已覆盖 |
未覆盖 |
| CORE_B |
0.0379 |
0.4348 |
| KF_BASE |
0.0331 |
0.4348 |
| FUSE_V1 |
0.0341 |
0.2612 |
| FUSE_V2 |
0.0331 |
0.2501 |
| 读出 |
最小 |
25% |
中位 |
75% |
最大 |
| FUSE_V2 |
−0.014 |
+0.003 |
+0.014 |
+0.038 |
+1.48 |
| FUSE_V1 |
−0.015 |
+0.001 |
+0.011 |
+0.031 |
+1.47 |
最大的改善来自一个 Core B 严重出错的场所。
解读
- 学到的读出在全新数据上成立,而且比以前的队列更一致:
- 90% 的场所变好,中位改善 +0.014,去掉任一场所后均值仍至少 +0.022。
- 只差在收益的头部集中度这一项检查上。
- V2 的配方更好:已覆盖像素交给冻结的分箱表、更大的感受野、更多训练数据(458 个场所)。它在每一项上都略好于 V1,变差的场所从 6 个降到 5 个。
- 卡尔曼式分箱表在四批场所上都成立,约 2–2.5%。
- 综合四批场所:Core B 最大的弱点是未覆盖区域的填充。一个只用到达数据和查询相机、同域训练的小网络,就能把那里的误差降低约 20–40%(SYSTEM4 上为 42%)。
文件
- 代码:
code/。
- 根目录:
s4_make_root.py;
- V2 配方:
s4_v2.py、s4_v2_train.py;
- 读出封存:
s4_readouts.py;
- 打分:
s4_score.py;
- 任务:
s4_jobs.sh。
- 数据准备脚本在
scripts/prepare_rgbd_arkit_system4_cohort.py。
- 记录:
audit/:计划锁、代码锁、V2 模型哈希、链、两次分析的一致性;
- 各封存的 JSON(臂、几何、ds、读出)。
- 结果:
results/、scores/。
- 不进 git:预测数组(
*.npz)和 V2 权重(models_v2/)。