EXP-3D-PLANE-SWEEP-CARRIER-V4 协议
起草:Claude(接手 cv 对话后,经用户授权持续推进),2026-09-29。本协议在任何 V4 训练之前冻结。
0. 背景
- V2:16³ learned carrier 上表面监督收益未建立;wrong-scene 与 spatial shuffle 不造成损伤,状态近似场景无关先验。
- V3:证据候选从 128 加密到 4096(约 30 倍的有效证据体素)后,DEV 收益仍未建立(+0.0101,CI [−0.0142, +0.0394]),预注册分支 C。训练集深度 AbsRel 从 0.490 降到 0.339,DEV 几乎不变;三个 seed 的稠密模型都在第一个 checkpoint(500 步)最好,之后 DEV 误差上升;观测最充分的 OBS2PLUS 区域没有改善。
- 结论:证据数量不是主因。现有融合只对 8 维学习特征求逐体素的跨视角均值和方差,没有“同一条视线只有一个表面”的射线竞争,也没有可见性,在 24 个训练场景上学到的是场景记忆。按 V2 协议 §35–36 与 V3 分支 C,本轮引入最小化的几何推理:不需要学习匹配的 plane-sweep 光度代价。
1. 研究问题
- Q1:给 carrier 加入显式的 plane-sweep 几何线索(射线竞争与可见性)后,DEV query 几何是否稳定改善?
- Q2:状态是否变得场景专属(wrong-scene 与 spatial shuffle 损伤的 CI 下界 > 0),full context 是否稳定优于 anchor?
- Q3:改善是否出现在多视角可观测的 OBS2PLUS 区域(这是几何推理应当起作用的地方)?
- Q4(次要):有了几何线索后,表面监督是否仍有作用?
2. plane-sweep 几何线索(固定定义)
对一个状态的每个上下文视角 r(作为参考视角),其余上下文视角为源视角:
- 所有上下文图像(原始 RGB,[0,1])按面积平均下采样到 32×40,内参按像素中心约定相应缩放。在训练集冻结先验给出的 [near, far] 之间取 32 个逆深度等间距的正平行平面(z 深度)。
- 对每个参考像素 p 与平面深度 d,沿参考射线取 3D 点,投影到各源视角,在同样 32×40 的源图像上双线性采样颜色。只统计投影在图像内且位于相机前方的源视角。
- 代价 c(p, d):参考颜色与有效源颜色一起计算的逐通道总体方差,再对 RGB 取平均;有效源视角少于 1 个时该 (p, d) 无效。
- 深度概率 P(d | p) = softmax_d(−c / τ),只在有效平面上归一化;整列无效的像素不产生线索。τ = exp(log_tau),log_tau 是唯一可学习的 plane-sweep 参数,初值 log(0.01)。
- 对每个体素 v:投影到参考视角,得到下采样网格坐标与相机深度 z。若在图像内且 z ∈ [near, far],沿逆深度三线性插值得到表面似然 s_r = D·P(均匀分布时为 1),以及自由空间似然 f_r = P(表面深度 > z),即体素位于该参考视线的表面之前。
- 体素统计量:对有效参考视角取平均的 s、f,以及有效参考视角比例 q,共 3 维。没有有效参考视角时三者都为 0。
整个过程只使用上下文 RGB、上下文相机与训练集先验,不使用任何深度、标签或 query 信息。只有一个视角的 anchor 状态没有源视角,线索恒为 0,因此 anchor 仍只含先验。
3. 变体
全部为 V3 C1 的配方:16³、4096 个证据候选、64 samples 固定 renderer、冻结 GT-free bounds、同 seed 下共享参数的初始值完全相同。
| ID | 名称 | plane-sweep 旁路 | loss | 角色 |
|---|---|---|---|---|
| C0 | DENSE_SURFACE | 无 | V2 C1 loss(含 0.1×surface) | 基线,即 V3 C1 |
| C1 | SWEEP_SURFACE | 有 | 同 C0 | PRIMARY_METHOD |
| C2 | SWEEP_NO_SURFACE | 有 | V2 C0 loss(无 surface) | 次要,只回答 Q4 |
旁路:3 维 plane-sweep 统计量经一个零初始化、无偏置的线性层(3→16)加到 fuse_up 的输出上(GELU 之前);另有 log_tau。旁路共 49 个参数(C1/C2 为 5174,C0 为 5125),其余结构完全相同。零初始化保证训练开始时 C1 与 C0 的输出完全一致。
4. 数据与训练
- 数据:沿用 V2 锁定的 24 TRAIN / 8 DEV、帧角色与 GT-free bounds 规则;DEV 已在 V2/V3 中评价,本轮是 DEV 机制诊断轮,
FRESH_QUALIFICATION_INCLUDED=false。 - 训练:3 seeds [20260928, 20260929, 20260930];2000 步;Adam lr 1e-3、常数学习率;每步 1 个 TRAIN 场景、1024 条射线;梯度裁剪 1.0;FP32。
- checkpoint:鉴于 V3 的最优点落在第一个 checkpoint,本轮在前期加密:[100, 200, 300, 500, 750, 1000, 1500, 2000]。各 variant×seed 用 V2 的 DEV 资格规则独立选择。
- 执行:seed 顺序执行,同一 seed 的三个变体并行;CPU 绑定 8–23 号核,单线程数值库;每次启动前等待共享 GPU 至少 3072 MiB 空闲;基础设施故障最多重跑 2 次,其他错误不重试,C0/C1 失败即停止。
5. 评价、统计与判定
评价与统计完全沿用 V2/V3(A、B、anchor、wrong-scene、spatial shuffle、zero;共同 opacity mask;静态共 mask;OBS 区域;10,000 次 scene paired bootstrap,seed 20260928)。主对比 SWEEP_GAIN = AbsRel(C0) − AbsRel(C1)。
- SWEEP_STATUS:对 C0−C1 应用 V2 的主对比 gate(含 C1 wrong-scene 与 shuffle 损伤 CI 下界 > 0、opacity 检查、状态完整性)。
- SCENE_SPECIFICITY_STATUS(C1)、STATIC_DEV_STATUS(C1):同 V3。
- 描述性:
SURFACE_WITH_SWEEP_GAIN = AbsRel(C2) − AbsRel(C1);训练末 100 步深度 AbsRel;DEV 曲线最优步;OBS 区域收益;状态相关性;学到的 τ;plane-sweep 线索的覆盖率。
6. 预先写定的解读
- 分支 A:SWEEP_STATUS=SUPPORTED 且 SCENE_SPECIFICITY_STATUS=SUPPORTED。显式几何推理能让 learned carrier 形成场景专属几何;下一轮建立经过独立性审计的 fresh 队列做资格验证,并检验训练规模。
- 分支 B:SWEEP_GAIN 的 CI 下界 > 0,或 SCENE_SPECIFICITY_STATUS=SUPPORTED,但未满足 A。几何线索有部分作用;下一轮检验更多上下文视角或训练规模。
- 分支 C:其余情况。在 3 个上下文视角、32×40 分辨率下,最小 plane-sweep 不足以让 carrier 泛化;下一轮需要另写协议,考虑预训练几何先验或更多视角。
- 无论哪个分支:本轮不运行 Dynamic TTT,
DYNAMIC_TTT_NEXT_STAGE_ALLOWED=false,FINAL_STATIC_STATUS=NOT_ESTABLISHED。
7. 禁止项
Dynamic TTT、writer、controller、轨迹搜索;预训练 backbone(DINOv2、VGGT、DUSt3R 等);学习式匹配特征或 transformer 融合;32³ carrier;renderer > 64 samples;bounds 或帧选择搜索;plane-sweep 超参数(平面数、分辨率、代价定义、τ 初值)的任何调参;根据 DEV 结果修改 loss、checkpoint 规则、seed、预算或主方法。