EXP-MEASUREMENT-PLANNING-ORACLE-V1 预注册
本文在任何逐子集的 oracle 或启发式结果出现之前写定。锁定时它的 sha256 与代码、契约、清单、封存文件的哈希一起登记在 preregistration.json。之后只能追加修订记录,不能修改。
1. 要检验的假设
- H1(存在决策余量): 在主队列上,按未来查询误差挑选深度帧的 oracle,明显而稳定地好于最强的简单可部署规则。
- H0(没有余量): 最强的简单规则已经拿到 oracle 的大部分收益,或者 oracle 的优势在不同场景之间不稳定。
2. 主判定(只在 EVAL34 上,K ∈ {1, 2, 4})
对每个 K,用场景值(ALL AbsRel,先对查询平均,再对角色平均)计算:
- BEST_H_K: 10 个可部署规则中,场景平均 ALL AbsRel 最低的一个。在同一数据上选出,对 H1 是保守的。
- D_K = BEST_H_K − ORACLE_K: 样本内余量。
- X_K = BEST_H_K − XORACLE_K: 交叉查询余量。
- G_K = NO_DEPTH − ORACLE_K: oracle 相对不加深度的收益。
- 余量比例 F_K = mean(D_K) / mean(G_K): 最强规则错过了 oracle 收益中的多少。
HEADROOM_SUPPORTED(K) 当且仅当以下两条同时成立:
- X_K 通过项目的 V2 gate(状态为 SUPPORTED):均值大于 0;95% 区间下界大于 0;至少 75% 的场景不变差;每个留一场景的均值都大于 0;正贡献最大的单个场景占比不超过 0.5。
- F_K ≥ 0.20。
两个判定量的理由:
- 样本内 oracle 在每个场景上都不差于任何规则,所以 D_K 的一致性检验没有意义;它只用来衡量大小,即第 2 条。
- 交叉查询 oracle 不能在被打分的那个查询上挑选,因此能检验余量是否稳定、能否推广到别的视角,即第 1 条。
结论:
- HEADROOM_STATUS = SUPPORTED,如果 K ∈ {1, 2, 4} 中至少有一个成立;否则为 NOT_ESTABLISHED。
- POLICY_TRAINING_ALLOWED 当且仅当 HEADROOM_STATUS = SUPPORTED。
3. 次要分析(不改变主判定)
| 分析 | 内容 | 解读规则 |
|---|---|---|
| EVAL34_GAP3 | 只保留帧序距每个查询都 ≥ 3 的候选帧,判定公式不变 | 如果主判定为 NOT_ESTABLISHED、GAP3 成立,报告"余量只出现在相邻帧之外"。POLICY_TRAINING_ALLOWED 仍为 false;是否另立任务由用户决定,并须另写预注册 |
| EVAL_FAR | 远处查询,候选池不变,判定公式不变 | 同上 |
| G1 混合后端 | 已测区域用调和补洞,其余用 G1 | 只描述:学习式补全是否改变测量的价值 |
| REPLICA | 8 个场景 | 只描述,样本太小 |
4. 描述性问题
以下各项在 README 中逐项回答,都不参与判定:
- 预算曲线(K = 0–9)与收益递减;
- best-1 帧在池中的位置分布;
- 单步效用与各可部署特征的 episode 内 Spearman 相关;
- 覆盖与效用不一致的候选帧数;
- 按历史大小分组的边际效用。
5. 停止规则
- 如果 POLICY_TRAINING_ALLOWED = false:停止该方向的方法开发,写
negative_result.md,不训练任何策略或预测器。 - 如果为 true:进入第二阶段(效用预测),但必须先另写一份预注册,不能在本轮直接训练。
6. 锁定之前已经知道的情况(如实披露)
- DepthSplat 探针(10-05 至 10-06)用过同一批 EVAL-V3/V4 场景和同样的 9 个空闲帧。 它报告过以下汇总结果,影响了本实验中 GAP3 与远处查询这两个次要分析的设计:
- 9 帧全部带实测深度时(即 K = 9 的汇总),相对 G1 混合,FAR 好 0.116;
- 只保留帧序距查询 ≥ 3 的帧时,好 0.078;
- 52% 的查询,其相邻帧就在空闲帧中。
- 逐子集的比较从未做过。 包括 K < 9 的 oracle、任何启发式的选择结果和效用分布。
- DEV 彩排: 计算与分析的代码路径在 DEV 上完整跑过,用于检查复核、审计和耗时,但终端没有显示任何余量数字,我没有看 DEV 的结果。DEV 不进入结果。
- 判定参数定稿的时间: 阈值(V2 gate、F_K ≥ 0.20)、候选池、预算、规则清单与常数,都在彩排之前写定,没有根据任何结果调整。
7. 数据
- EVAL-V3/V4、EVAL-FAR、Replica 都是以前用过的开发与机制数据,不称为独立测试。
- EVAL-V5、TRAIN-EXT 留给可能的第二阶段,本轮不读取。
- 受保护的保留集不打开(FINAL_HOLDOUT_TOUCHED=false)。