Source: docs/research_summary_20261003.md · Plain text

阶段总结(2026-10-03,hit)

本文汇总 2026-10-02 至 10-03 在 hit 上完成的实验。逐条记录见 STATUS.md 与 EXPERIMENTS.md;每个实验的计划、协议、预注册与完整性记录都在各自的 outputs/ 目录中。所有主判定都是预注册的,探索性分析均已标明。

13:00 修订: 加入 Core B V9、V24、V25;13:45 再加入 V27;15:05 加入 Core B V10;18:05 加入 V26(第 1 节)与 V29(第 2.2 节);10-04 01:10 加入 Core B V11、V28(第 2 节、第 2.1 节)与 V30(第 2.2 节),第 4 节随之更新;05:00 加入 V31,06:40 加入 V32 与 V33(第 1 节、第 4 节)。V24、V25 把 Core B 与使用同样帧的无模型基线比较,改变了对 Core B 实际意义的判断,第 2.1 节与第 4 节据此改写。

1. Core A:静态补全 carrier

问题: 静态 carrier 在上下文没有观测到的区域(FAR)上的补全,平均优于调和插值,但只在约 2/3 的场景上成立。能否让它更好、更一致?

杠杆 实验 结果
加宽(32 → 64) V12、V15、V19、V20、GPU 试点 无作用
加训练场景(72 → 127) V14、V15、V18、V20 无作用,6000 步时有害
加长训练(6000 → 24000 步) V17–V20 FAR +0.04–0.06,约 2/3 的场景变好;约 24000 步饱和
同一批场景的片段多样性 V21 无作用,略有损害
训练光线集中在 FAR 像素(每个角色 75%) V26(预注册,GPU,24000 步) 未确立:主队列 FAR +0.020 [−0.005, +0.051],只有 42/80 个场景变好;EVAL-FAR 与 FRESH-V2 上方向相反
预训练视觉特征(DINOv2 ViT-S/14,经初值为零的旁路) V31(预注册,GPU,24000 步) 未确立:FAR +0.004 [−0.014, +0.024],只有 36/80 个场景变好;EVAL-FAR 与 FRESH-V2 上略差
覆盖整个体积的三维上下文(U-Net 残差分支) V32(预注册,GPU,24000 步) 未确立:第 24000 步 FAR −0.002(36/80 个场景变好);第 6000 步好 +0.018(57/80),只是学得更快;EVAL-FAR、FRESH-V2 上略差
深度读出(深度除以不透明度) V22(预注册,EVAL-FAR) 长训练增益约 2/3 来自未归一化的深度读出;远处 query 上剩约 +0.02 的真实改进
只用上下文的测试时精修 Core B V6、V23、Core B V7 时有时无(TRAIN-EXT 支持,EVAL-V3/V4 与 EVAL-V5 未确立),对 FAR 补全没有帮助

事后诊断(探索性,outputs/EXP-3D-RGBD-POSTHOC-DIAG-V1):

2. Core B:动态写入(流式到达的新帧)

问题: 新帧到达时,往快速权重里写入,能否胜过只把新帧缓存进多视角融合?

实验 队列 写入方式 超出只缓存的增益 结论
V1–V3 DEV 学到的写入规则 ≈ 0 C
V4 DEV(8) 梯度 TTT,10 步 +0.0115 A
V5 EVAL-V3∪V4(83) 10 步 +0.0079 A
V6 TRAIN-EXT(55) 10 步 +0.0148 A
V7 EVAL-V5(23,全新) 100 步 +0.0150(10 步 +0.0068) P2 SUPPORTED
V8 EVAL-V3∪V4(83) 100 步 +0.0213(73/0/10;10 步 +0.0079) P1 SUPPORTED
V9 TRAIN-EXT(55) 100 / 300 步 +0.0355 / +0.0396(51/4、48/7) D
V10 EVAL-V3∪V4(83) 100 步,另外三个 carrier +0.0244 / +0.0286 / +0.0327 A
V11 EVAL-V3∪V4(83) 每到一帧写 25 步(共 100 步) +0.0145(68/0/15;一次性 +0.0213) B
V28 Replica(8,跨数据集) 100 / 1000 步 +0.0250 / +0.0450(7/0/1) B

2.1 与使用同样帧的无模型基线比较(V24、V25,CPU 重新计分)

流帧也是测得的 RGB-D。把 3 个上下文帧与 4 个流帧(共 7 帧)的测得深度重投影到 query、再用调和插值补洞,就得到只用同样测量的无模型基线(REPROJ7_HARMONIC)。实际可用的方法是混合:距重投影命中 8 像素以内(NEAR7)用调和插值,其余像素用 carrier。

近处 query(V24,EVAL-V3/V4,83) 远处 query(V25,EVAL-FAR,79)
NEAR7 占有效像素 93.8% 87.1%
无模型基线 REPROJ7_HARMONIC 0.175 0.194
只用 carrier(TTT_100) 0.186(只在 19/83 个场景更好) 0.214(25/79)
混合 HFILL8_7(TTT_100) 0.167 0.179
混合相对无模型基线 +0.008,31/19/33,PARTIAL +0.015 [+0.002, +0.030],35/14/30,PARTIAL
写入在混合里的作用 +0.0001,未确立 +0.0004,未确立

2.2 新帧没有深度时(V29、V30)

无模型基线依赖新帧的测得深度。V29(EVAL-V3/V4,83 个场景,GPU)让 4 个流帧只有 RGB 与相机,状态封存之前从未读取它们的深度:

全部像素的 AbsRel
不加新帧(NO_STREAM) 0.269
只用上下文精修 100 步(CTX_TTT_100) 0.251
缓存没有深度的新帧(OFF_RGB) 0.308
缓存后再写入 100 步(TTT_RGB_100) 0.295
不缓存,只用新帧 RGB 监督写入 100 步(RGB_SUP_100,V30) 0.349
不缓存,上下文 RGB-D 与新帧 RGB 一起监督(CTX_RGB_SUP_100,V30) 0.250
3 帧无模型基线(REPROJ3_HARMONIC) 0.289

3. 数据与工程

4. 结论与下一步