Source: docs/experiments/EXP-3D-PLANE-SWEEP-CARRIER-V4/PROTOCOL.md · Plain text

EXP-3D-PLANE-SWEEP-CARRIER-V4 协议

起草:Claude(接手 cv 对话后,经用户授权持续推进),2026-09-29。本协议在任何 V4 训练之前冻结。

0. 背景

1. 研究问题

2. plane-sweep 几何线索(固定定义)

对一个状态的每个上下文视角 r(作为参考视角),其余上下文视角为源视角:

  1. 所有上下文图像(原始 RGB,[0,1])按面积平均下采样到 32×40,内参按像素中心约定相应缩放。在训练集冻结先验给出的 [near, far] 之间取 32 个逆深度等间距的正平行平面(z 深度)。
  2. 对每个参考像素 p 与平面深度 d,沿参考射线取 3D 点,投影到各源视角,在同样 32×40 的源图像上双线性采样颜色。只统计投影在图像内且位于相机前方的源视角。
  3. 代价 c(p, d):参考颜色与有效源颜色一起计算的逐通道总体方差,再对 RGB 取平均;有效源视角少于 1 个时该 (p, d) 无效。
  4. 深度概率 P(d | p) = softmax_d(−c / τ),只在有效平面上归一化;整列无效的像素不产生线索。τ = exp(log_tau),log_tau 是唯一可学习的 plane-sweep 参数,初值 log(0.01)。
  5. 对每个体素 v:投影到参考视角,得到下采样网格坐标与相机深度 z。若在图像内且 z ∈ [near, far],沿逆深度三线性插值得到表面似然 s_r = D·P(均匀分布时为 1),以及自由空间似然 f_r = P(表面深度 > z),即体素位于该参考视线的表面之前。
  6. 体素统计量:对有效参考视角取平均的 s、f,以及有效参考视角比例 q,共 3 维。没有有效参考视角时三者都为 0。

整个过程只使用上下文 RGB、上下文相机与训练集先验,不使用任何深度、标签或 query 信息。只有一个视角的 anchor 状态没有源视角,线索恒为 0,因此 anchor 仍只含先验。

3. 变体

全部为 V3 C1 的配方:16³、4096 个证据候选、64 samples 固定 renderer、冻结 GT-free bounds、同 seed 下共享参数的初始值完全相同。

ID 名称 plane-sweep 旁路 loss 角色
C0 DENSE_SURFACE 无 V2 C1 loss(含 0.1×surface) 基线,即 V3 C1
C1 SWEEP_SURFACE 有 同 C0 PRIMARY_METHOD
C2 SWEEP_NO_SURFACE 有 V2 C0 loss(无 surface) 次要,只回答 Q4

旁路:3 维 plane-sweep 统计量经一个零初始化、无偏置的线性层(3→16)加到 fuse_up 的输出上(GELU 之前);另有 log_tau。旁路共 49 个参数(C1/C2 为 5174,C0 为 5125),其余结构完全相同。零初始化保证训练开始时 C1 与 C0 的输出完全一致。

4. 数据与训练

5. 评价、统计与判定

评价与统计完全沿用 V2/V3(A、B、anchor、wrong-scene、spatial shuffle、zero;共同 opacity mask;静态共 mask;OBS 区域;10,000 次 scene paired bootstrap,seed 20260928)。主对比 SWEEP_GAIN = AbsRel(C0) − AbsRel(C1)。

6. 预先写定的解读

7. 禁止项

Dynamic TTT、writer、controller、轨迹搜索;预训练 backbone(DINOv2、VGGT、DUSt3R 等);学习式匹配特征或 transformer 融合;32³ carrier;renderer > 64 samples;bounds 或帧选择搜索;plane-sweep 超参数(平面数、分辨率、代价定义、τ 初值)的任何调参;根据 DEV 结果修改 loss、checkpoint 规则、seed、预算或主方法。