Source: docs/experiments/EXP-3D-CAJU3D-SYSTEM4-HOLDOUT-V1/README.md · Plain text

EXP-3D-CAJU3D-SYSTEM4-HOLDOUT-V1:全新保留队列上的读出检验

结论:LEARNED_READOUT_PARTIAL。 在 52 个今晚之前从未准备、从未评测过的 ARKit 场所上: - 两个学到的读出都大幅改善 Core B: - V2(按计划新训练):0.1462 → 0.0923,47/0/5; - V1(冻结):0.1462 → 0.0960,46/0/6。 - 均值的置信区间都不含 0,去掉任一场所后的估计全部为正。 - 为什么是 PARTIAL 而不是 SUPPORTED:改善最多的一个场所贡献了超过一半的正向收益(52% 和 56%),没有通过 V2 判定的"头部占比 ≤ 0.5"检查。 - 卡尔曼式分箱表:在第四批全新场所上再次复现,SUPPORTED。

设计(PROTOCOL.md)

结果(holdout_results.json)

读出 SYSTEM4 均值 对 Core B(正值表示更好) 场所 好/平/坏 判定
CORE_B 0.14615 — — —
KF_BASE 0.14265 +0.00350 [+0.00178, +0.00585] 42/0/10 SUPPORTED
FUSE_V1 0.09599 +0.05016 [+0.01566, +0.11100] 46/0/6 PARTIAL(头部占比 0.56)
FUSE_V2 0.09228 +0.05387 [+0.01859, +0.11510] 47/0/5 PARTIAL(头部占比 0.52)
读出 已覆盖 未覆盖
CORE_B 0.0379 0.4348
KF_BASE 0.0331 0.4348
FUSE_V1 0.0341 0.2612
FUSE_V2 0.0331 0.2501
读出 最小 25% 中位 75% 最大
FUSE_V2 −0.014 +0.003 +0.014 +0.038 +1.48
FUSE_V1 −0.015 +0.001 +0.011 +0.031 +1.47

最大的改善来自一个 Core B 严重出错的场所。

解读

文件