# KennyMcSimpson/measurement-scene-state Repository: https://github.com/KennyMcSimpson/measurement-scene-state Source commit: 84860f196b855895da8df9a0523be38fe4cb3f35 --- Source file: STATUS.md Raw URL: https://raw.githubusercontent.com/KennyMcSimpson/measurement-scene-state/main/STATUS.md # 当前状态(2026-10-15) 2026-10-15 03:35(hit:GPU 4 + CPU):[可靠几何读出:V2 必要性、TTT 必要性与新机制的前提检验](docs/experiments/EXP-3D-READOUT-METHOD-V1/README.md)(00:46:10 锁定)。**No-Go。** - **Gate A:** `V2_METHOD_NECESSITY = NOT_ESTABLISHED`。V2 比最强的简单标定(288 箱)好 0.0092,但不是每一折都成立;SYSTEM4 上的大幅改善主要来自把零命中查询的 Hypersim 常数换成训练集常数。 - **Gate B:** `TTT_ADDED_VALUE = NOT_ESTABLISHED`(预注册)。事后在 KF 表 + V2 结构中,TTT 好 0.0064,只在已覆盖像素,代价是 45 倍耗时。 - **Gate C:** `CVPR_METHOD_NOVELTY = INSUFFICIENT`。候选 B(跨视角共享修正)与候选 A(自由空间下界)的增益上界都低于 0.005。 - **数据:** 测量、TTT 监督与评价真值都是同一个 iPad LiDAR;四个评价折都已用于决策;61 个未准备的扫描仍未读取。 - **报告:** Claude Docs 文档《可靠几何读出研究决策报告》。 2026-10-14 23:45(hit:GPU 4):[学到的读出的留一队列稳健性分析](docs/experiments/EXP-3D-CAJU3D-READOUT-LOCO-V1/README.md)(23:31:35 锁定,描述性)。 - **结果:** FUSE_V2 的配方在 SYSTEM3、VAL、CAJU、SYSTEM4 四个留出队列上,每次都用其余全部队列训练。误差分别降低 28%、17%、17%、37%。 - **合计 350 个场所:** 0.1395 → 0.1033,+0.0362 [+0.0230, +0.0524],278/0/72,SUPPORTED;中位场所改善 +0.009。 - **报告:** 本轮 CAJU-3D 的整体评估见 Claude Docs 文档《CAJU-3D 方案评估报告》。 2026-10-14 23:26(hit:GPU 4 + CPU):[全新保留队列 SYSTEM4 上的读出检验](docs/experiments/EXP-3D-CAJU3D-SYSTEM4-HOLDOUT-V1/README.md)(计划于 22:39:36 锁定,早于任何 SYSTEM4 数据)。**LEARNED_READOUT_PARTIAL;KF_BASE SUPPORTED。** - **数据:** SYSTEM3 下载批次中从未准备过的 91 个扫描,按不变的规则准备,52 个合格(ARKIT_SYSTEM4)。在其上按 V3 的流程跑 Core B(GPU 4,约 30 分钟)。 - **结果(52 个场所):** - Core B 0.1462;KF_BASE 0.1427(+0.0035,42/0/10,SUPPORTED)。 - FUSE_V1(冻结)0.0960(+0.0502,46/0/6);FUSE_V2(按计划新训练)0.0923(+0.0539 [+0.0186, +0.1151],47/0/5)。 - 两个学到的读出都是 PARTIAL:去掉任一场所后均值仍为正,但一个场所贡献了过半的正向收益。 - V2 比 V1 再好 +0.0037(37/0/15)。 - **意义:** - 学到的未覆盖修正在全新数据上成立,而且更一致:90% 的场所变好,中位改善 +0.014;未覆盖像素的 AbsRel 从 0.435 降到 0.250。 - 卡尔曼式分箱表已在四批场所上成立。 2026-10-14 22:34(hit:GPU 4 + CPU):[CAJU-3D 第四步:学到的按像素读出](docs/experiments/EXP-3D-CAJU3D-FUSENET-V1/README.md)(预注册,22:20:46 锁定,sha256 `fda3cf90…`)及其[复现](docs/experiments/EXP-3D-CAJU3D-FUSENET-REPL-V1/README.md)(22:34:28 锁定)。**JEPA_FUSION_NOT_ESTABLISHED;不用 JEPA 的学到的读出大幅改善 Core B,并在第三批场所上复现(REPLICATED)。** - **问题:** H-JEPA 在查询视角预测的完整潜特征(ẑ、log P、命中)能否改进学到的按像素读出。 - 读出在已覆盖像素上给卡尔曼式权重,在未覆盖像素上给 R7 的有界修正。 - 对照是不输入 JEPA 的同结构网络,两者各 3 个种子,在 SYSTEM + SYSTEM2 上训练。 - **结果:** - P1(SYSTEM3)−0.00098(80/0/80),P2(VAL)+0.00186(34/0/46),都不成立。 - 不用 JEPA 的 FUSE_BASE:SYSTEM3 0.1569 → 0.1143(+0.0426,119/0/41,PARTIAL);VAL 0.1161 → 0.0984(+0.0176,63/0/17,SUPPORTED)。 - 复现(CAJU-V1 的 58 个场所,冻结模型):0.1176 → 0.0979(+0.0197,48/0/10,SUPPORTED)。 - **机制:** - 收益几乎全部来自未覆盖区域:SYSTEM3 上 R7 填充值处的 AbsRel 从 0.488 降到 0.320。在已覆盖像素上,学到的权重不如第三步的分箱表。 - 改善偏重尾:中位场所约 +0.005 到 +0.008,每批有 13–26% 的场所略变差。 - **意义:** - JEPA 在第四个角色里也没有作用。 - 最大的可改进之处在未覆盖区域的填充,一个只用到达数据、同域训练的小网络就能消掉约三分之一的误差。 2026-10-14 22:13(hit CPU):[冻结的卡尔曼式读出融合在另一批场所上的复现](docs/experiments/EXP-3D-CAJU3D-KFUSE-REPL-V1/README.md)(预注册,22:12:05 锁定)。**REPLICATED。** - **做法:** KFUSE-V1 冻结的 KF_BASE 原样用到 CAJU-V1 的 58 个训练折场所上(CAJU-V1 的 100 步 TTT 回放与几何封存),不跑 GPU,不重新拟合。 - **结果:** Core B 0.1176 → KF_BASE 0.1149,+0.00272 [+0.00145, +0.00417],47/0/11,SUPPORTED;三个来源队列方向一致。 - **合起来:** 非 JEPA 的按像素读出融合已在三批互不重叠的场所上确认(SYSTEM3 +0.0031,VAL +0.0027,CAJU 场所 +0.0027),约 2%。 2026-10-14 21:58(hit:GPU 4 + CPU):[CAJU-3D 第三步:卡尔曼式读出融合](docs/experiments/EXP-3D-CAJU3D-KFUSE-V1/README.md)(预注册,21:56:35 锁定,sha256 `b9e08b44…`)。**JEPA_KALMAN_NOT_ESTABLISHED;非 JEPA 的卡尔曼式融合把 Core B 改善约 0.003(两个确认队列都是 SUPPORTED)。** - **问题:** 方案的卡尔曼掩码思路放到 Core B 的读出层,即按像素决定 TTT 状态(F7)与 7 视角重投影(R7)的比例。检验 H-JEPA 在查询视角预测的方差 P,能否比 TTT 的不透明度 α 更好地指出 F7 在哪里可信。 - **设计:** 已覆盖像素上 R7^(1−w)·F7^w,每箱一个权重。KF_BASE 按 F7/R7 分歧 × α × near7 分箱,KF_JEPA 把 α 换成 JEPA 的 log P,箱数相同。在 SYSTEM + SYSTEM2(160 个场所)上拟合并冻结,在 SYSTEM3(160)和 VAL(80)上确认。不跑 TTT。 - **结果:** - P1 KF_BASE − KF_JEPA:SYSTEM3 −0.00005(61/0/99),VAL −0.00007(33/0/47),都不成立。在 α 之外再加 P 也没有增益。 - 实用价值:Core B − KF_BASE 在 SYSTEM3 为 +0.00308(0.1569 → 0.1538,122/0/38),在 VAL 为 +0.00267(0.1161 → 0.1134,62/0/18),都是 SUPPORTED。比统一权重多 +0.0006(PARTIAL ×2)。 - **意义:** 方案里唯一带来收益的是"按可信度融合"的卡尔曼思想,但起作用的是几何和不透明度线索,不是 JEPA。事后探索中,未覆盖像素平均有收益但逐场所不稳(74/0/86),不推进。 2026-10-14 21:34(hit:GPU 4 + CPU):[CAJU-3D 第二步:JEPA 潜空间创新能否挑出更值得排除的测量](docs/experiments/EXP-3D-CAJU3D-JEPAGATE-V1/README.md)(预注册,20:37:12 锁定,sha256 `82d86a50…`)。**STOP_AT_DEV。** - **问题:** 修正版逆向 H-JEPA(几何对齐,监控集校准相关 0.78)的潜空间创新,能否比跨视角深度一致性更会挑"不该拿来更新的测量"。做法是在 Core B 的 TTT 中剔除 10% 的测量像素,比较 JEPA / DEPTH / INC / RANDOM 四种挑法。 - **结果(开发集,24 个场所):** - Core B 0.09902,RANDOM 0.09904,DEPTH 0.09910,INC 0.09925,JEPA 0.09929。 - JEPA 对 Core B:−0.00027 [−0.00040, −0.00016],3/0/21,HARMFUL;RANDOM 比 JEPA 好(20/0/4,SUPPORTED)。 - **机制:** - 随机剔除无害;剔除最不一致的 10% 也没有收益。所以 TTT 在这里不需要防范误导性测量。 - JEPA 创新主要由潜误差决定,P 几乎不起作用。它挑中的像素光度不一致最高、深度不一致中等,而且最成片(邻居也被剔除的比例 0.83),剔除后查询覆盖率下降最多。 - **意义:** CAJU-3D 的三个核心机制都已检验,都没有收益:何时更新(Gate 0)、引擎改动(第一步)、用 JEPA 挑测量(本实验)。剩下的卡尔曼软掩码用的是同样的信息。 2026-10-14 20:15(hit:GPU 4 + CPU):[CAJU-3D 第一步:不含学习模块的 TTT 引擎](docs/experiments/EXP-3D-CAJU3D-ENGINE-V1/README.md)(预注册,18:09:32 锁定,sha256 `e92c77ea…`)。**STOP_AT_DEV。** - **问题:** 用户 CAJU-3D 方案里不需要学习的引擎改动能否超过 Core B(发布版权重 + 原始 TTT)。这些改动是:α 归一化、只看已覆盖像素的损失;几何/外观解耦;入射角/深度跳变掩码;L2 锚梯度锥投影。 - **结果(开发集,24 个场所,Core B 读出):** - 最佳候选 ZS_NORM 为 0.1001,Core B 为 0.0990:−0.0011 [−0.0021, −0.0003],7/0/17,HARMFUL。 - JN1 底座的所有臂都差于 Core B。JN1 上 NORM 对 RAW 为 +0.0016 [−0.0013, +0.0061],10/0/14,不成立。 - **机制:** 原始 TTT 确实会冲掉 JN1 的选择性弃权,已观测视角覆盖率从 0.685 升到 0.964;α 归一化能把它保持在 0.689。但对未来查询来说,冲掉弃权反而有利:F7 在未覆盖处回退到 R7,而 TTT 推出的深度比 R7 更准。方案说的"不透明度拉回约 0.70"没有出现。 - **决定:** 按预注册不做确认。第二步单独检验方案中的 JEPA 部分。 2026-10-14 02:24(hit:GPU 4 与另一用户的常驻进程共用 + CPU):[CAJU-V1 Gate 0:Core B 的更新动作有没有值得学习的空间](docs/experiments/EXP-3D-CAJU-HEADROOM-V1/README.md)(预注册,01:07:17 锁定,sha256 `f82179bf…`;修订 1 在正式回放之前)。**GATE0 NOT_ESTABLISHED(NO_USEFUL_DYNAMIC_ACTION_SPACE)。** - **问题:** 同一片段从同一个状态出发,执行 OFF / 10 步 / 100 步 TTT,未来查询效用的差异是否大到值得去学"何时更新"。这是 CAJU 的前提。 - **结果(ARKit 训练场所,EVAL 34 个场所,68 个片段):** - 固定动作 FULL(在另外 16 个场所上选出)相对 OFF 的效用为 +0.0031。交叉查询 oracle 只比它多 +0.00076 [+0.00005, +0.00191],低于预注册的 0.001,而且一个场所贡献了 57%。事后逐片段 oracle 也只多 +0.0012。 - FULL 在 24% 的片段有害,OFF 在 19% 的片段最优。残差高时更新几乎总是有益(21/22);残差低或中时有害占 28–38%。残差歧义确实存在,但能换来的收益很小。 - 计算节省分支没有通过:最省充分策略只省了 33%。 - **JEPA:** `JEPA_FEATURE_STATUS=NOT_IMPLEMENTED`。历史上的逆向 JEPA 都是用像素空间渲染损失微调,没有潜空间预测器,本轮无法检验 JEPA。 - **决定:** 按预注册停止 Utility MLP 和 AC-JEPA(`GATE1_ALLOWED=false`)。新方向需要用户决定。 2026-10-10:**DepthSplat 基座上的逆向 JEPA 与 TTT 研究线结束,最终报告见 Claude Docs 文档[逆向 JEPA 与 TTT 最终报告](https://claude.ai/artifact/XKGJfbogpYoLH4LyNj8xU9)。** - **结论:** Core B(TTT 与 7 帧重投影集成)是唯一稳健的实用结果,五个独立队列上复现,真实数据上误差降低约 3–4%;逆向 JEPA 不能改进 TTT,只在不做 TTT 时小幅改进前馈状态(约 2.5%);学到的补全只有按深度范围选择时才稳定;真实训练数据从 182 增加到 502 个扫描没有作用。 - **推荐读出:** 要最一致用 Core B;要误差最低用 sqrt(TTT × JN 前馈)。 2026-10-10 03:49(hit:GPU 4 与另一用户的常驻进程共用 + CPU):[更多真实训练数据能否改进逆向 JEPA 的补全](docs/experiments/EXP-3D-RGBD-DEPTHSPLAT-JEPA-OVERLAP-SCALE-ARKIT-V1/README.md)(预注册,01:58 锁定,sha256 `35f85731…`)。**MORE_DATA_COMPLETION_NOT_ESTABLISHED,SCALED_COMPLETION_PARTIAL。** - **问题:** 重叠感知的逆向 JEPA(JO 配方)的补全停在"平均有效、逐场景不稳"。训练数据从 182 个扫描增加到 502 个(步数不变),能否改进? - **结果:** - P1:VAL80 的 FARH 上 JOL 0.3585 对 JO 0.3541,−0.0044,42/0/33,不成立。 - P2:对比调和插值 +0.1125,42/0/33,PARTIAL,与原来的 JO 相同。 - **意义:** - 与 NS 合起来:在这个范围内,真实数据量既不是逆向 JEPA 前馈精度的瓶颈,也不是补全的瓶颈。 - 要明显改进,需要更强的先验或不同的方法,而不是多一些同类数据。 2026-10-10 01:51(hit CPU):[Core B 中 TTT 与 R7 的集成权重](docs/experiments/EXP-3D-RGBD-COREB-WEIGHT-ARKIT-V1/README.md)(预注册,01:51 锁定,sha256 `178a022a…`)。**WEIGHT_IMPROVES_CORE_B_PARTIAL(两个确认队列都是 PARTIAL)。** - **问题:** TTT 单独的均值一直比 Core B 低、但一致性较差。把 R7^(1−w) × TTT^w 的权重调到 0.5 以上,能否得到更好的折中? - **结果:** - 开发集选出 w* = 0.9。确认集上均值稳定地降低:SYSTEM3 0.1569 → 0.1544(+0.0025,106/0/54),VAL 0.1161 → 0.1142(52/0/28),都是 PARTIAL。 - 对 R7 的一致性从 149/160 降到 130/160;GEO_0.9 与 TTT 单独几乎相同。 - **意义:** - 均值与一致性之间是一条平滑的取舍,没有同时优于两端的权重。 - 推荐的实用读出:要最一致用 Core B;要最低均值用 PAIR = sqrt(TTT × JN 前馈)(0.1540,对 R7 138/160),它比 TTT 单独更一致。 2026-10-10 01:46(hit:GPU 4 与另一用户的常驻进程共用 + CPU):[用逆向 JEPA 学到的有选择弃权改进 Core B](docs/experiments/EXP-3D-RGBD-COREB-JEPA-ABSTAIN-ARKIT-V1/README.md)(预注册,01:37 锁定,sha256 `091f0b96…`)。**JEPA_ABSTAIN_IMPROVES_CORE_B_PARTIAL(两个确认队列都是 PARTIAL)。** - **问题:** 把 JN 学到的有选择弃权用到 Core B 里,能否改进完整系统?三种接法在开发集(SYSTEM + SYSTEM2)上选择,在 SYSTEM3 与 VAL 上确认。 - **结果:** - 选出 PAIR = sqrt(TTT × JN 前馈):SYSTEM3 0.1569 → 0.1540(+0.0029,102/0/58),VAL 0.1161 → 0.1142(+0.0019,55/0/25),都是 PARTIAL;换用 JN2、JN3 结果一致。 - 但 PAIR 与 TTT 单独打平(0.1540 对 0.1544,76/0/84);对无模型方法 138/0/22。 - MASK(TTT 也在 JN 弃权处退回 R7)反而变差。 - **意义:** - JN 的前馈可以替代 R7 做 TTT 的集成伙伴,让系统均值回到 TTT 单独的水平,同时保留大部分一致性。 - 相对 TTT 单独没有增益:逆向 JEPA 对完整系统的贡献是边际性的。 2026-10-10 01:32(hit CPU):[只调高读出阈值,能否得到逆向 JEPA 的前馈改进](docs/experiments/EXP-3D-RGBD-DEPTHSPLAT-ALPHA-THRESHOLD-ARKIT-V1/README.md)(预注册,01:28 锁定,sha256 `644bad0d…`)。**JEPA_BEYOND_THRESHOLD_PARTIAL(VAL 上 SUPPORTED);Core B 的阈值不需要改变。** - **问题:** 逆向 JEPA 的前馈改进伴随覆盖率下降。不训练、只把发布权重的读出阈值调高(α ≥ τ),能否得到同样的效果?能否改进 Core B? - **结果:** - 开发集(SYSTEM + SYSTEM2)上,发布权重的前馈、TTT、Core B 都随 τ 升高单调变差(前馈 0.1549 → 0.1569),最优阈值就是原来的 0.5。 - 覆盖率相近时,发布权重(τ = 0.9,覆盖率 0.54)变差,而 JN(覆盖率约 0.53)变好。 - 确认集上 JNS 仍胜过最优阈值的发布权重:SYSTEM3 +0.0041,110/0/50,PARTIAL;VAL +0.0041,61/0/19,SUPPORTED。 - **意义:** - 逆向 JEPA 学到的是有选择的弃权(哪些像素不可靠),全局阈值做不到。它的前馈改进小(约 2.5%)但真实。 - Core B 的读出阈值不需要调整。 2026-10-10 01:21(hit:GPU 4 与另一用户的常驻进程共用 + CPU):[更多真实训练数据能否放大逆向 JEPA 的前馈改进](docs/experiments/EXP-3D-RGBD-DEPTHSPLAT-JEPA-NORM-SCALE-ARKIT-V1/README.md)(预注册,2026-10-09 23:18 锁定,sha256 `d9ed9d50…`)。**MORE_DATA_NOT_ESTABLISHED,SCALED_RECIPE_FEEDFORWARD_PARTIAL。** - **问题:** 只奖励精度的逆向 JEPA 对前馈状态的改进只有约 2.5%;训练数据从 182 个扫描增加到 502 个(步数不变),能否放大它? - **结果:** - P1:完全没有变化。SYSTEM3 上 JLS 与 JNS 都是 0.1567,82/0/78;VAL 上 0.1169 对 0.1167。 - P2:扩数据后的配方对比发布权重 +0.0041,111/0/49,PARTIAL,与 JN 相同。 - 四次测量的改进都在 +0.0036 到 +0.0041 之间,一致性 68–73%。 - **意义:** - 在这个范围内,真实训练数据量不是瓶颈。改进来自训练目标(学会弃权),不随数据量增长,不需要为这条线下载更多数据。 - 下一个关键对照:不训练、只调高发布权重的读出阈值,能否得到同样的效果。 2026-10-09 23:04(hit:GPU 4 与另一用户的常驻进程共用 + CPU):[只奖励精度的逆向 JEPA 能否改进前馈状态(预注册复现)](docs/experiments/EXP-3D-RGBD-DEPTHSPLAT-JEPA-NORM-FEEDFORWARD-ARKIT-V1/README.md)(19:23 锁定,sha256 `7ff1827a…`)。**JN1_FEEDFORWARD_PARTIAL,RECIPE_FEEDFORWARD_PARTIAL。** - **问题:** OBJECTIVE-TTT 的次要发现(只奖励精度的逆向 JEPA 让不做 TTT 的前馈状态变好)能否在 160 个全新扫描、3 个种子上复现? - **结果:** - P1(JN1):+0.0036 [+0.0004, +0.0076],109/0/51,PARTIAL;均值与 ARKIT_VAL 上相同。 - P2(3 个种子平均):+0.0041 [+0.0010, +0.0080],110/0/50,PARTIAL;每个种子的 CI 都不含 0。 - 好处都在 NEAR7(0.0763 → 0.0717);JN 的前馈胜过 R7(94/0/66),发布权重的前馈与 R7 打平。 - 事后探索:均值上与 Core B 打平(0.1567 对 0.1569),但 Core B 在 71% 的场景更好。 - **意义:** - 这是逆向 JEPA 在真实数据上第一个可复现的正面效应:前馈状态约 2.5% 的稳定小幅改进,逐场景约 2/3 变好。 - 它不能改进 TTT;有时间做 TTT 时,Core B 仍是更好的系统。 2026-10-09 21:39(hit CPU + GPU 4):[Hypersim 小载体 G1 的选择性集成能否改进 Core B(独立检验)](docs/experiments/EXP-3D-RGBD-FULL-SYSTEM-ARKIT-V3/README.md)(预注册:计划锁 14:50,正式锁 15:08,sha256 `0a33ebdf…`)。**G1 接法没有确立(P1 不成立);完整系统胜过无模型方法(P2);Core B 第五次复现(149/0/11)。** - **问题:** V2 次要分析中成立的 G1 接法(选中的 episode 中,FAR7 基底改为 sqrt(R7 × 7 帧 G1)),能否在 160 个全新扫描上改进 Core B? - **结果:** - P1:+0.0010 [−0.0003, +0.0025],38/99/23,不成立。只看 FAR7 时有小而稳定的改进(+0.0062,36/96/25,次要)。 - P2:完整系统对比 R7 为 +0.0071,139/0/21,SUPPORTED(主要来自 Core B)。 - Core B 对比 R7:+0.0061,149/0/11,五次复现中最一致的一次。 - **意义:** - G1 接法三次检验分别为 +0.0002(V1 事后)、+0.0042(V2 次要)、+0.0010(V3 主检验)。即使存在,效应也只有约 0.5%,没有确立。 - 完整系统的实用结论仍是 Core B:五个独立队列上都成立,真实数据上的绝对增益约 4%。 2026-10-09 19:16(hit:GPU 4 与另一用户的常驻进程共用 + CPU):[只奖励精度的逆向 JEPA 能否改进 TTT](docs/experiments/EXP-3D-RGBD-DEPTHSPLAT-JEPA-OBJECTIVE-TTT-ARKIT-V1/README.md)(预注册,14:41 锁定,sha256 `a826b21c…`)。**JN_TTT_NOT_ESTABLISHED,JK_HARMS_TTT。** - **问题:** JC 的损害来自训练目标奖励覆盖。改成只奖励已覆盖像素的精度(JN1),或再按 TTT 的 7 帧布局训练(JK1),能否让 TTT 比发布权重更好? - **结果:** - P1:JN 的 TTT 结果与发布权重打平(0.1149 对 0.1141,30/0/50)。JC 的损害消失了。 - P2:JK 更差(0.1178,24/0/56,HARMFUL)。 - 新现象:只奖励精度的目标让模型学会弃权,前馈覆盖率从 0.73 降到 0.55(JN)和 0.26(JK)。不做 TTT 时,JN 的前馈状态比发布权重好(0.1172 对 0.1208,60/0/20,次要分析 S3);TTT 把差距抹平。 - **意义:** - 四种逆向 JEPA 设置都没有给 TTT 更好的起点,逆向 JEPA → TTT 这条线结束;Core B 的实用配置不变。 - 进行中:S3 在全新扫描上用 3 个种子做预注册复现([NF](docs/experiments/EXP-3D-RGBD-DEPTHSPLAT-JEPA-NORM-FEEDFORWARD-ARKIT-V1/PROTOCOL.md),19:23 锁定);V2 的 G1 接法在 160 个全新扫描上做预注册检验([FULL-SYSTEM-V3](docs/experiments/EXP-3D-RGBD-FULL-SYSTEM-ARKIT-V3/PROTOCOL.md),15:08 锁定)。 2026-10-09 14:29(hit CPU + GPU 4):[TTT 集成加上 7 帧小载体的选择性集成](docs/experiments/EXP-3D-RGBD-FULL-SYSTEM-ARKIT-V2/README.md)(预注册:计划锁 13:08,正式锁 13:16,sha256 `b36f2657…`)。**V1 样本内挑出的接法没有复现(P1、P2 都不成立);Core B 第四次复现(70/0/10)。** - **问题:** 在 V1 样本内挑出的接法(选中的 episode 中,FAR7 基底改为 sqrt(R7 × 7 帧 GA))能否在 80 个全新扫描上改进 Core B? - **结果:** - P1:−0.0022,16/42/22,不成立。原因是这批扫描上 7 帧 GA 在 FAR7 中明显差于 R7(0.358 对 0.281)。 - 次要的 G1 接法:+0.0042,21/43/16,SUPPORTED。但它在 V1 上不成立,只能算线索。 - Core B 对比 R7:+0.0049,70/0/10,SUPPORTED。 - **意义:** - Core B 已在四个独立队列上复现:EVAL34 71/12,VAL80 71/9,SYSTEM80 71/9,SYSTEM2 70/10。 - 小载体接入 Core B 的效果随扫描批次变化,没有可靠结论。 2026-10-09 12:48(hit CPU + GPU 4):[TTT 集成加上按深度范围选择的补全](docs/experiments/EXP-3D-RGBD-FULL-SYSTEM-ARKIT-V1/README.md)(预注册:计划锁 11:28,正式锁 11:35,sha256 `8bfe2c18…`)。**完整系统没有改进(P1、P2 都不成立);Core B 在全新扫描上第三次复现(71/0/9,SUPPORTED)。** - **问题:** 把按深度范围选择的补全接进 Core B(TTT 状态与 7 帧重投影的几何平均)的 FAR7 区域,能否改进完整系统?数据为 80 个全新的 ARKit 扫描。 - **结果:** - P1 Core B − 完整系统:−0.0031,15/49/16,不成立。 - FAR7 中,只看 3 个上下文帧的补全不如 7 帧调和插值(0.291 对 0.270)。 - Core B 对比 R7:+0.0047,71/0/9,SUPPORTED。TTT 的增益:61/0/19。 - **意义:** - Core B 稳健:EVAL34 71/12,VAL80 71/9,SYSTEM80 71/9。但真实数据上的绝对增益很小(0.152 → 0.148)。 - 要整合两条线,补全模型必须吃进全部 7 帧。 2026-10-09 11:24(hit CPU + GPU 4):[深度范围选择规则能否推广到远处视角](docs/experiments/EXP-3D-RGBD-COMPLETION-SELECTOR-FAR-ARKIT-V1/README.md)(预注册,11:10 锁定,sha256 `62fcff3c…`)。**FAR_SELECTOR_CONSISTENT。** - **问题:** 同一条规则、同一个阈值(S ≥ 1.2),在同一批 80 个全新扫描的远处视角(第 14、15 帧,此前从未评估)上是否仍然成立? - **结果:** - P1(GA):FARH 从 0.452 降到 0.394,+0.058,24/17/12(77% 不变差),SUPPORTED。 - Hypersim 小载体也成立:+0.058,28/17/8。 - DepthSplat-JEPA 即使经过选择也不显著:JO +0.022,JA +0.042。 - 不选择时,四种模型都只与调和插值打平。 - **意义:** - 选择规则在真实数据的近处和远处视角上都通过了 V2 gate。 - 远处视角上增益较小(−13%),而且只对小载体成立。 2026-10-09 11:06(hit CPU + GPU 4):[用上下文深度范围决定何时使用学到的补全](docs/experiments/EXP-3D-RGBD-COMPLETION-SELECTOR-ARKIT-V1/README.md)(预注册:计划锁 10:42,正式锁 10:51,sha256 `c6dc93e1…`;修订 1 只修复打分错误)。**SELECTOR_CONSISTENT:这条研究线上第一个在真实数据上通过 V2 gate 的补全结果。** - **问题:** 事后探索发现,上下文深度范围 S = (p90 − p10) / 中位数能预测学到的补全是否有用。规则"S ≥ 1.2 时用学到的补全,否则用调和插值"能否在全新扫描上稳定胜过调和插值? - **数据:** 80 个全新的 ARKit 扫描(训练折种子顺序第 520–679 位),查询为第 6、7 帧。 - **结果:** - P1(GA):FARH 从 0.523 降到 0.411,+0.112,32/31/9(88% 不变差),SUPPORTED。 - 同一规则用于 Hypersim 小载体:+0.114,31/31/10;用于 DepthSplat 逆向 JEPA:+0.073,29/31/12,都是 SUPPORTED。 - 不做选择时三者都只是 PARTIAL;选择几乎不损失均值。 - 被选中的查询上,调和插值为 0.694,GA 为 0.447,GA 在 81% 的查询上更好;未选中的查询上分别为 0.292 和 0.305。 - **意义:** - 真实数据上学到的补全的"不一致"是可预测的:在深度层次丰富的场景里调和插值失败,学到的补全有用;在近似平面的场景里调和插值已经很好。 - 规则与模型无关,只需上下文深度即可判断。 2026-10-09 09:28(hit CPU):[用 ARKit 真实数据做重叠感知训练的旧基座补全载体](docs/experiments/EXP-3D-RGBD-CARRIER-ARKIT-OVERLAP-V1/README.md)(预注册;冻结于 02:24,sha256 `2cef537d…`)。**REAL_CARRIER_PARTIAL,REAL_DATA_CARRIER_NOT_ESTABLISHED。** - **问题:** 旧基座的补全载体(G1 架构)用冻结的 V17 配方,在 ARKit 训练折上、只用有重叠的目标重新训练(GA)。它在有重叠的新查询(第 6、7 帧)上能否稳定胜过调和插值,并胜过 Hypersim 训练的 G1? - **结果:** - C1:FARH 从 0.452 降到 0.330(+0.122),但只有 79/147 个场景变好,PARTIAL。 - C2:与 G1N 的 0.344 相比没有可确认的差别。 - 与调和插值取平均(HGAN)有 100/0/47 个场景变好(68%),是本轮最一致的组合。 - **意义:** 在真实数据的近处视角上,四种学到的补全(G1N、GA、JA、JO)给出几乎相同的结果:平均误差降约 1/4,但只有一半多的场景变好。模型类型、训练数据和训练目标都不是瓶颈。 2026-10-09 08:24(hit:GPU 4 与另一用户的常驻进程共用 + CPU):[在 TTT 的尺度上限下训练逆向 JEPA](docs/experiments/EXP-3D-RGBD-DEPTHSPLAT-JEPA-CAP01-TTT-ARKIT-V1/README.md)(预注册,06:03 锁定,sha256 `1b00184e…`)。**JEPA_CAP01_HARMS_TTT,JEPA_CAP01_HARMS_CACHE。** - **问题:** JBT 中逆向 JEPA 基座让 TTT 变差,是不是因为尺度上限 3.0?在上限 0.1 下训练(JC1)后,能否让 TTT 比发布权重更好? - **结果:** - P1:TTT 后为 0.121,发布权重为 0.114,−0.0070,24/0/56,HARMFUL(差距小)。 - P2:前馈状态 0.173 对 0.121,5/0/75,HARMFUL。 - 改用上限 0.1 消除了大部分损害:JA(上限 3.0)TTT 后为 0.159,JC 为 0.121。与 7 帧重投影集成后,两者打平(都是 0.116)。 - **意义:** - 剩下的差距来自训练目标:它对未覆盖像素按全深度惩罚,奖励覆盖而不是精度,在两个上限下都把前馈覆盖率推高、精度拉低。 - 在当前目标下,"逆向 JEPA 给 TTT 更好的起点"不成立。Core B 的实用配置不变。 2026-10-09 05:58(hit:GPU 4 与另一用户的常驻进程共用 + CPU):[重叠感知的真实数据逆向 JEPA](docs/experiments/EXP-3D-RGBD-DEPTHSPLAT-JEPA-ARKIT-OVERLAP-V1/README.md)(预注册,01:19 锁定,sha256 `27d25dd4…`)。**OVERLAP_JEPA_PARTIAL,OVERLAP_TRAINING_NOT_ESTABLISHED。** - **问题:** 只在与上下文有重叠的目标上训练逆向 JEPA(JO),在有重叠的新查询(第 6、7 帧,从未用过)上能否稳定胜过调和插值?是否比原配方好? - **结果:** - O1:FARH 上从 0.452 降到 0.341(+0.110),但只有 80/147 个场景变好,中位数只有 +0.005,PARTIAL。 - O2:与原配方的 JA 打平(0.341 对 0.337)。 - Hypersim 训练的 J 为 0.407;旧基座 G1N 为 0.344,与 JO 打平。HJO 集成 95/0/52。 - **意义:** - 学到的补全在真实数据上"平均有效、逐场景不稳":近处视角平均降约 1/4 的误差,但过不了一致性门槛。 - 真实数据训练比合成数据训练好,但只追平了旧的小载体;只用有重叠的目标训练没有额外收益。 - **进行中:** [EXP-3D-RGBD-CARRIER-ARKIT-OVERLAP-V1](docs/experiments/EXP-3D-RGBD-CARRIER-ARKIT-OVERLAP-V1/PROTOCOL.md):在 ARKit 上做重叠感知训练的旧基座载体(GA),CPU 训练中,约 09:00 完成。 2026-10-09 04:10(hit:GPU 4 与另一用户的常驻进程共用 + CPU):[从真实数据训练的逆向 JEPA 基座出发做 TTT](docs/experiments/EXP-3D-RGBD-DEPTHSPLAT-JEPA-BASE-TTT-ARKIT-V1/README.md)(预注册,01:19 锁定,sha256 `6441e982…`;修订 1 只改执行方式)。**JEPA_BASE_HARMFUL,JEPA_TRAINING_HARMS_TTT。** - **问题:** 逆向 JEPA 能否为 TTT 提供更好的起点?在 ARKIT_VAL(80 个扫描)上,以 JA1 为起点做 TTT,与以发布权重为起点比较。 - **结果:** - Q1:以 JA 为起点不如以发布权重(上限 0.1)为起点,ALL 0.159 对 0.114,−0.0445,15/0/65。 - Q2:同为上限 3.0,以 JA 为起点也更差,0.159 对 0.136,−0.0226,30/0/50。 - TTT 本身在 JA 基座上依然有效(0.266 → 0.159,70/0/10),但修不回起点的差距。 - 尺度上限 0.1 比 3.0 好(+0.022,70/0/10)。 - **意义:** 这个逆向 JEPA 配方没有为 TTT 提供更好的起点。Core B 最好的配置仍是"发布权重 + TTT + 与 7 帧重投影取几何平均"。 2026-10-09 01:26(hit:GPU 4 与另一用户的常驻进程共用 + CPU):[在真实传感器数据上训练逆向 JEPA](docs/experiments/EXP-3D-RGBD-DEPTHSPLAT-JEPA-ARKIT-V1/README.md)(预注册,10/8 23:42 锁定,sha256 `de61109d…`;修订 1 于 10/9 00:03 记录)。**R1 = REAL_JEPA_PARTIAL,R2 = REAL_DATA_TRAINING_PARTIAL;但增益来自替换错误的补洞常数,不是补全。** - **问题:** 用户 10/8 要求"用 ARKit 训练折在真实数据上训练逆向 JEPA"。在 182 个 ARKit 扫描上训练(3 个种子,V1 配方),在 160 个扫描(ARKIT_VAL80 + ARKIT_CONFIRM80)上评估。 - **结果:** - R1 H3 − JA(FAR):+0.210,90/14/55,PARTIAL。R2 J − JA:+0.231,104/13/42,PARTIAL。FAR AbsRel 从 0.793 降到 0.583,JA 覆盖了 65% 的 FAR。 - 修订 1:约 47% 的 ARKit 查询与上下文完全没有重叠,调和插值在这些查询上整张图都是 Hypersim 的补洞常数 2.37 m。换成训练折拟合的 1.05 m,FAR 就降到 0.418。 - 在这个校准基线之上,JA 有害:−0.029,57/14/88。 - 在有重叠的查询上,JA 与调和插值打平:+0.027,48/0/50。 - 探索性:归一化 G1 集成在有重叠的查询上 +0.051,67/0/31。 - **意义:** - 真实数据训练让模型学会了"室内场景大概多深",但没有学会基于上下文的补全。 - 之前 ARKit 上的补全评估有一半是无重叠查询,需要按重叠重新解读。TTT 的 7 帧评估不受影响。 - **进行中:** - [EXP-3D-RGBD-DEPTHSPLAT-JEPA-BASE-TTT-ARKIT-V1](docs/experiments/EXP-3D-RGBD-DEPTHSPLAT-JEPA-BASE-TTT-ARKIT-V1/PROTOCOL.md)(10/9 01:19 锁定):在 ARKIT_VAL 上比较以 JA1 为起点的 TTT 与以发布权重为起点的 TTT。GPU 运行中。 - [EXP-3D-RGBD-DEPTHSPLAT-JEPA-ARKIT-OVERLAP-V1](docs/experiments/EXP-3D-RGBD-DEPTHSPLAT-JEPA-ARKIT-OVERLAP-V1/PROTOCOL.md)(10/9 01:19 锁定,早于 JA 结果):只在有重叠的目标上训练,在有重叠的新查询帧(第 6、7 帧)上评估。CPU 封存运行中,GPU 排在上一个实验之后。 2026-10-08 13:50(hit CPU + ARKit 下载):[归一化 G1 补全集成在全新真实扫描上的确认](docs/experiments/EXP-3D-RGBD-COMPLETION-ENSEMBLE-ARKIT-CONFIRM-V1/README.md)(预注册,13:46 锁定,sha256 `b5b24308…`)。**NORMALIZED_ENSEMBLE_CONSISTENT。** - **来源:** ARKIT_VAL 上发现 G1 的未归一化读出在真实数据上塌缩,"补全集成"的表面通过来自偏差抵消;改用会弃权的归一化读出。 - **数据:** 80 个从没用过的 ARKit 训练折扫描(`outputs/EXP-3D-RGBD-ARKIT-CONFIRM-DATA-V1`,种子顺序第 360–519 位场馆)。 - **结果(FAR):** - (调和 + 归一化 G1) / 2 相对调和:+0.064 [+0.036, +0.095],48/19/12,SUPPORTED;ALL 上也 SUPPORTED; - G1 弃权 49%。 - **意义:** 学到的补全在真实数据上有一个小而一致的增益。真正的大误差来自调和插值在 ARKit 上偏远:减半就能大幅降低均值,但不稳定。 2026-10-08 13:31(hit:数据下载与准备 + GPU 4 共用 + CPU):[两个集成在真实传感器数据(ARKitScenes)上的检验](docs/experiments/EXP-3D-RGBD-ENSEMBLES-ARKIT-V1/README.md)(预注册,12:08 锁定,sha256 `6947f14f…`)。**TTT 集成复现,补全集成没有可信地复现。** - **数据:** ARKitScenes 3dod Validation 折,80 个合格的真实 iPad RGB-D 扫描(`outputs/EXP-3D-RGBD-ARKIT-VAL-DATA-V1`)。 - 修复了 10/5 的 unzip 问题:`-d` 不会创建缺失的父目录。 - 按种子顺序扩展到第 136 个场馆。1% 的源几何阈值对真实数据偏严,但没有放宽。 - **TTT 集成:** - √(REPROJ7 × TTT) 相对 REPROJ7:+0.0049,71/9,SUPPORTED;TTT 必要:60/20,SUPPORTED; - TTT 单独也稳定更好(62/18); - 绝对收益小(ALL 0.121 → 0.116)。 - **补全集成:** - 主检验 (调和 + J + G1) / 3:+0.422,56/24,PARTIAL;(调和 + G1) / 2:60/20,恰好 SUPPORTED。 - 事后检查:G1 在 ARKit 上迁移失败,53% 的 FAR 像素塌缩到接近 0(未归一化的深度读出)。调和插值偏远,平均的收益主要是偏差抵消。 - 在 Hypersim 上同样的检查确认,那里的收益来自 G1 的信息。 - 逆向 JEPA 在 ARKit 上不比调和插值好,也不为集成增加价值。 2026-10-08 09:44(hit GPU 4 共用 + CPU):[TTT 集成](docs/experiments/EXP-3D-RGBD-TTT-ENSEMBLE-V1/README.md)(预注册,06:31 锁定,sha256 `5154f900…`)。**T1 = TTT_ENSEMBLE_CONSISTENT,T2 = TTT_NEEDED。** - **问题:** 新帧到达后,TTT 后的 DepthSplat 状态与 7 帧无模型重投影取几何平均,能否稳定胜过无模型重投影?TTT 在其中是否必要? - **检验:** EVAL34,83 个场景,流帧同 Core B V8。 - **结果(ALL):** - T1:+0.029 [+0.015, +0.047],71/12,SUPPORTED; - T2(只缓存的状态替换 TTT 状态):+0.019,80/3,SUPPORTED; - TTT 单独相对无模型:+0.040,59/24,PARTIAL;TTT 相对只缓存:+0.032,79/4,SUPPORTED。 - **意义:** Core B 第一次在样本外队列上显示出稳定的实用价值。用法是把梯度写入后的状态与测量驱动的重投影结合;收益在已测区域。 2026-10-08 07:59(hit GPU 4 共用 + CPU):[TTT 消融:无网络高斯 + 同样的 TTT](docs/experiments/EXP-3D-RGBD-DEPTHSPLAT-TTT-ABLATION-V1/README.md)(预注册,06:25 锁定,sha256 `cebe6e23…`)。**LEARNED_BASE_MATTERS。** - **问题:** V1 中 TTT 的收益是来自学到的 DepthSplat 基座,还是只来自"高斯表示 + 测试时优化"? - **无网络高斯:** 每个测得像素一个点状高斯,尺度、步长都在 DEV 上选。 - **结果(FRESH78,ALL):** - 同样的 TTT 下,学到的状态更好:+0.024 [+0.008, +0.044],61/17,SUPPORTED; - 不做 TTT 时没有区别:+0.006,47/31; - TTT 对无网络高斯也有用(+0.012,69/9),但只有学到状态收益(+0.030)的四成。 - **意义:** 学到的基座的价值在于给测试时优化提供更好的起点和参数化,而不在前馈预测本身;收益仍只在已测区域。 2026-10-08 06:27(hit CPU + GPU 4 推理):[补全集成](docs/experiments/EXP-3D-RGBD-COMPLETION-ENSEMBLE-V1/README.md)(预注册,05:41 锁定,sha256 `d6248ece…`)。**E1 = ENSEMBLE_CONSISTENT,E2 = JEPA_NO_ADD。** - **来源:** V1 之后在 FRESH78 上的探索性分析。把学到的补全与调和插值逐像素取平均,场景一致性大幅提高。 - **检验:** EVAL34(83 个场景),从未评估过 J、JG、HG 或 HJG。 - **结果(FAR):** - (调和 + 逆向 JEPA + G1) / 3:+0.131 [+0.079, +0.193],60/20,SUPPORTED; - (调和 + G1) / 2:+0.133,65/15,SUPPORTED,在 ALL 上也 SUPPORTED; - G1 单独:+0.148,52/28,PARTIAL; - 逆向 JEPA 单独:+0.033,41/39,不成立;加入集成也没有贡献(−0.002)。 - **意义:** 项目里第一个在 FAR 上通过 V2 gate 的补全结果。学到的补全要与测量驱动的插值取平均才稳定;有贡献的是旧载体 G1,不是新基座上的逆向 JEPA。 2026-10-08 04:44(hit GPU 4 与另一用户的常驻进程共用 + CPU):[以 DepthSplat 为基座检验逆向 JEPA 与 TTT](docs/experiments/EXP-3D-RGBD-DEPTHSPLAT-JEPA-TTT-V1/README.md)(预注册,01:16 锁定,sha256 `fa87f117…`)。**Core A = A_PARTIAL,Core B = B_MECHANISM_ONLY。** - **问题:** 用户 10/7 要求"在新的基座上,验证一下逆向jepa和ttt"。新基座即 DepthSplat,评估队列为 FRESH78 = EVAL-V5 + TRAIN-EXT(78 个场景)。 - **逆向 JEPA:** - 从发布权重出发,用"渲染到其他帧的深度与 RGB"训练整个编码器,3 个种子,各 4000 步; - FAR 覆盖率从 2% 升到 68%,FAR AbsRel 从 0.425 降到 0.360; - 相对调和补全(0.429)+0.069 [+0.014, +0.138],但只有 45/77 个场景变好,判定 PARTIAL; - 在 G1 之上的增量 +0.015,不显著:补全水平与旧项目的 G1 相当。 - **TTT:** - 7 帧 RGB-D 状态上做 100 步测试时优化,ALL 从 0.148(只缓存)降到 0.118,73/78 个场景变好,SUPPORTED; - 相对 7 帧无模型重投影(0.175)+0.057,但只有 54/78 个场景变好,判定 PARTIAL,中位数只好 0.005; - 收益全部来自已测区域,对 7 帧都没看到的区域无作用。 - **事故与修订:** - 第一次正式 GPU 作业因显存不足,三个训练在第一步退出,按同一命令重跑(修订 1); - 应用户要求先读 TTT 的真值(修订 2); - 两者都没有改动设置。 - **后续:** 无网络高斯加同样的 TTT 的消融(EXP-3D-RGBD-DEPTHSPLAT-TTT-ABLATION-V1)已在 DEV 上开始选参。 2026-10-06 23:25(hit,只用 CPU,不训练):新研究线 BUDGETED-MEASUREMENT-PLANNING 的第一阶段 [oracle 余量审计](outputs/EXP-MEASUREMENT-PLANNING-ORACLE-V1/README.md):**HEADROOM_STATUS = NOT_ESTABLISHED,POLICY_TRAINING_ALLOWED = false**,方向停止。 - **问题:** RGB 与相机免费、深度按预算 K 请求时,"测哪几帧"是否有简单规则吃不掉的决策余量。 - **设计:** - 主队列 EVAL-V3 ∪ V4(83 个场景); - 每条记录 9 个候选帧,穷举全部子集; - 后端为冻结的无模型 REPROJ_HARMONIC; - 10 个可部署规则; - 判定 = 交叉查询 oracle 通过 V2 gate,且余量比例 ≥ 0.20; - 23:08 锁定,sha256 `140364ae…`。 - **结果:** - 只测 1 帧深度,ALL AbsRel 就从 0.289 降到 0.197(LATEST)或 0.172(oracle); - 最强的规则在 K = 1、2、4 时都是"测最新的帧"(LATEST); - 样本内 oracle 比它好 0.025、0.021、0.013,但交叉查询只剩 +0.005 [−0.004, +0.016]、+0.004、−0.001,都不显著; - 排除相邻帧(GAP3)、远处查询(EVAL-FAR)都没有可推广的余量;远处查询上覆盖类贪心最强,交叉查询 oracle 反而更差。 - **意义:** 测量价值很大,但在这批数据上"测哪一帧"几乎就是"测离查询最近、也就是最新的帧"。不训练效用预测器,理由见 `negative_result.md`。 - **约束:** 保留集未打开,未下载新数据,未推送;代码在本地分支 `research/measurement-planning`。 2026-10-06 01:10(hit GPU 4 与另一用户的常驻进程共用 + CPU):[DepthSplat 探针](docs/experiments/EXP-3D-RGBD-DEPTHSPLAT-PROBE-V1/README.md)(探索性)。 - **背景:** 用户 10/5 指示以 DepthSplat 为基座进行尝试。未预注册;没有动用 EVAL-V5、TRAIN-EXT、Replica 和保留集。 - **原任务(3 个 RGB-D 上下文):** - 零样本只用 RGB 时,远差于调和插值(DEV FAR 0.877 对 0.328); - 注入实测深度后与调和插值相同,因为像素对齐的高斯碰不到 FAR。 - **额外的只有 RGB 的帧(每条记录 9 个未使用的帧),在 EVAL-V3/V4(83 个场景)上:** - FAR 从 0.487 降到 0.352,与 G1 相当; - 与 G1 组合后为 0.314,相对 FAR_G1 为 +0.041 [−0.025, +0.096](49/29); - 但收益主要来自紧邻查询的帧:只保留帧序距查询 ≥ 3 的帧后,相对 FAR_G1 为 −0.005; - 同样这些帧带实测深度时,仍有 +0.078 [+0.009, +0.131](62/10)。 - **微调(TRAIN72 + SEG-V1):** 单视角深度 AbsRel 从 0.142 降到 0.109,FAR 的结论不变。 - **意义:** DepthSplat 的作用相当于估计相邻 RGB 图的深度,不能补全未观测区域;测量的覆盖仍是 FAR 的主导因素。DEV(8 个场景)与 EVAL-V3/V4 的方向不同,DEV 不足以评价这类方法。 2026-10-05(hit):ARKitScenes 小规模试点(72 对 288 次扫描)已暂停。 - 已完成:选择阶段(`outputs/EXP-3D-RGBD-ARKIT-DATA-V1/selection.json`)。 - 未解决:下载后解压第一个压缩包时出错(unzip 退出码 2)。 - 暂停原因:用户改为指示以 DepthSplat 为基座进行尝试。 2026-10-04 06:36(hit):[V33](outputs/EXP-3D-RGBD-ARMS-CONFIRM-V33/PLAN_BEFORE_V33.md) 按预先写定的条件未运行:V32 的 P1 均值为 −0.0020,不大于 0(`run_condition.json`)。 2026-10-04 06:34(hit GPU 训练 + CPU 评价):[V32](outputs/EXP-3D-RGBD-UNET-CONTEXT-V32/README.md)(覆盖整个体积的三维上下文分支,分支 C;两组的预注册锁在冻结后未变)。 - **主判定(EVAL-V3 ∪ EVAL-V4,80 个场景,第 24000 步):** - P1 FAR(G1) − FAR(U) = −0.0020 [−0.0200, +0.0206],36/0/44,中位数 −0.0028,NOT_ESTABLISHED; - P2 调和插值 − AHFILL8(U) = +0.0329 [+0.0127, +0.0564],45/3/35,NOT_DISTINGUISHABLE。 - **描述性:** - 学得更快:第 6000 步 U 好 +0.0178 [+0.0070, +0.0288](57/23),第 3000–20000 步的 FAR 误差都低于 G1;到第 24000 步 G1 追上(0.353 对 0.355); - 第 24000 步的其他队列上 U 更差:EVAL-FAR −0.0137(29/49),FRESH-V2 −0.0376(5/9); - NEAR 与全部像素几乎相同(+0.0018);U 共 426,094 个参数,每个 seed 训练约 1.85 小时。 - **意义:** 覆盖整个体积的三维上下文只让学习更快,没有提高最终的补全水平,在其他队列上反而略差。结合 V31,图像特征与三维感受野都不是限制最终补全的主要瓶颈;容量更大时泛化略差,更像是 72 个训练场景的数据限制或任务本身的歧义。 2026-10-04 05:30(hit):[V33](outputs/EXP-3D-RGBD-ARMS-CONFIRM-V33/PLAN_BEFORE_V33.md) 已冻结(只用 CPU,不训练),在 V32 出结果之前。 - **问题:** 在三个新队列上确认三维上下文分支 U(V32)相对 G1 的效果:EVAL-V5(23)、TRAIN-EXT(55)、Replica(8),都与各组的 TRAIN72 不重叠。P1 = FAR(G1) − FAR(U)(EVAL-V5 ∪ TRAIN-EXT,V2 gate),P2 = 调和插值 − AHFILL8(U) 的标签;P(V31)与 Replica 只作描述。 - **预先写定的运行条件:** 只在 V32 的 P1 均值大于 0 时运行;运行脚本等待 V32 的评价结束后自动检查。 - **准备:** 通用多组评价脚本 `scripts/evaluate_rgbd_carrier_arms.py` 已在 TRAIN 替代队列上预演通过;测试 3 个通过;完整测试 1159 个通过、3 个跳过;预注册 sha256 `9ebd3e79…`。 2026-10-04 04:35(hit GPU 训练 + CPU 评价):[V31](outputs/EXP-3D-RGBD-PRETRAINED-FEATURES-V31/README.md)(冻结的 DINOv2 特征,分支 C;两组的预注册锁在冻结后未变)。 - **主判定(EVAL-V3 ∪ EVAL-V4,80 个场景,第 24000 步):** - P1 FAR(G1) − FAR(P) = +0.0041 [−0.0139, +0.0235],36/0/44,中位数 −0.0045,NOT_ESTABLISHED; - P2 调和插值 − AHFILL8(P) = +0.0347 [+0.0159, +0.0568],47/3/33,NOT_DISTINGUISHABLE(G1 为 +0.0338)。 - **描述性:** - FAR AbsRel:G1 0.353,P 0.349;第 6000 步时 P 更差(−0.024); - 其他队列:EVAL-FAR −0.015、FRESH-V2 −0.022,P 略差; - NEAR +0.014、全部像素 +0.012,P 略好,但 CI 都跨 0; - 三个 seed 都完成,每个约 1.55 小时。 - **意义:** 预训练图像特征没有让测量覆盖不到的像素上的补全变好。逐视角的特征只沿光线提升到体素上,到不了没有观测支持的区域,这与 V32 要检验的三维感受野瓶颈一致。 2026-10-04 02:12(hit):[V32](outputs/EXP-3D-RGBD-UNET-CONTEXT-V32/PLAN_BEFORE_V32.md) 已冻结([修订 1](outputs/EXP-3D-RGBD-UNET-CONTEXT-V32/PLAN_AMENDMENT_1.md)),GPU 训练排在 V31 的训练之后。 - **问题:** V17 L carrier 在三维上的补全只靠两层 3×3×3 卷积(感受野 5³ 个体素),离有观测支持的体素超过 2 个体素的位置得不到场景上下文。加上覆盖整个体积的三维 U-Net 残差分支(输出层初值为零)之后,FAR 上的补全能否稳定变好(P1 = FAR(G1) − FAR(U),第 24000 步,V2 gate)?混合方法能否稳定胜过调和插值(P2 标签)?对照是 V21 的 G1。 - **准备:** 测试 6 个通过(输出层为零时状态与 V17 L 逐位相同、每个输出体素都能看到整个体积等);CPU 冒烟测试第 1 步的损失与 V17 L 原始 CPU 训练逐位相同;GPU 冒烟测试按修订 1 在 GPU 任务的第一步进行;完整测试 1156 个通过、3 个跳过;freeze.json sha256 `8df99840…`。 2026-10-04 01:45(hit):[V31](outputs/EXP-3D-RGBD-PRETRAINED-FEATURES-V31/PLAN_BEFORE_V31.md) 已冻结,GPU 训练在 4 号卡上排队(空闲即开始)。 - **方向:** 用户 10-04 选择接入预训练视觉特征,并同意下载权重(DINOv2 ViT-S/14 reg4,Apache 2.0,88.3 MB,放在仓库外的 `_models/dinov2/`,代码与权重都按哈希锁定)。 - **问题:** carrier 每个视角只有 8 个从零学出的图像通道。接入冻结的 DINOv2 patch 特征(投影到 24 个通道,经初值为零的旁路进入融合)之后,FAR 上的补全能否稳定变好(P1 = FAR(G1) − FAR(P),第 24000 步,V2 gate)?混合方法能否稳定胜过调和插值(P2 标签)?对照是 V21 的 G1。 - **准备:** 测试 6 个通过(旁路为零时状态与 V17 L 逐位相同、骨干冻结且不进入 checkpoint 等);[冒烟测试](outputs/EXP-3D-RGBD-PRETRAINED-FEATURES-V31/audit/smoke_v31.md)中 3 个 seed 第 1 步的损失与 G1 逐位相同,每步约 0.23 秒,CPU 与 GPU 的 DEV 结果最大差 3.6e-8;完整测试 1150 个通过、3 个跳过;freeze.json sha256 `a49ca180…`。 2026-10-03 22:03(hit GPU):[Core B V11](outputs/EXP-3D-RGBD-DYNAMIC-TTT-ONLINE-V11/README.md)(逐帧在线写入,分支 B,完整性 PASS)。 - **全部像素的 AbsRel(EVAL-V3 ∪ EVAL-V4):** NO_STREAM 0.269;OFF 0.207;TTT_100 0.186;ONLINE_100 0.193;ONLINE_NEW_100 0.190;ALL_TTT_100 0.184。 - **主判定:** - P1 OFF − ONLINE_100 = +0.0145 [+0.0076, +0.0225],68/0/15,SUPPORTED; - P2 ½(OFF + TTT_100) − ONLINE_100 = +0.0038 [−0.0002, +0.0081],52/0/31,NOT_ESTABLISHED(在线保住一次性写入增益的约 2/3); - P3 ONLINE_NEW_100 − ONLINE_100 = −0.0027 [−0.0082, +0.0017],41/0/42,NOT_ESTABLISHED(回放已到达的旧帧没有帮助)。 - **描述性:** 在线比一次性差 0.0068(70/13);一次性写入再加上下文监督只多 +0.0020(CI 跨 0);特异性 +0.0191;NO_STREAM 与 OFF 的 996 行与 Core B V8 逐一相同。 2026-10-03 20:01(hit GPU + CPU):[V30](outputs/EXP-3D-RGBD-DYNAMIC-TTT-RGB-SUPERVISION-V30/README.md)(只有 RGB 的新帧只作写入的监督,分支 D,完整性 PASS)。 - **全部像素的 AbsRel:** NO_STREAM 0.269;CTX_TTT_100 0.251;RGB_SUP_100 0.349;CTX_RGB_SUP_100 0.250;REPROJ3_HARMONIC 0.289。 - **主判定:** - P1 NO_STREAM − RGB_SUP_100 = −0.0796 [−0.1180, −0.0464],20/0/63,HARMFUL; - P2 CTX_TTT_100 − CTX_RGB_SUP_100 = +0.0013 [−0.0052, +0.0106],35/0/48,NOT_ESTABLISHED。 - **描述性:** 只用新帧 RGB 监督时 FAR 与 NEAR 都变差(−0.066 / −0.080);混合方法相对 REPROJ3_HARMONIC +0.0354(51/3/29),与不加新帧的混合(+0.0339)、只用上下文精修的混合(+0.0358)相同;封存前流帧只以 RGB 读取 1992 次,没有读取深度。 - **意义:** 只有光度监督时,写入为了拟合新帧的颜色而破坏几何;有上下文深度约束时,新帧的 RGB 也不增加信息。结合 V29:现有 carrier 用不上没有深度的新帧。 2026-10-03 18:44(hit GPU + CPU):[V28](outputs/EXP-3D-RGBD-DYNAMIC-TTT-REPLICA-V28/README.md)(Replica 8 个场景上的流帧写入,分支 B,完整性 PASS)。 - **全部像素的 AbsRel:** NO_STREAM 0.475;OFF 0.470;TTT_100 0.445;TTT_1000 0.425;常数预测 0.411;REPROJ3_HARMONIC 0.331;REPROJ7_HARMONIC 0.062。 - **主判定:** - P1 OFF − TTT_100 = +0.0250 [+0.0074, +0.0454],7/0/1,SUPPORTED(换了数据集写入仍然有效;1000 步再多 +0.020); - P2 REPROJ7_HARMONIC − HFILL8_7(TTT_100) = −0.1468 [−0.2637, −0.0531],1/0/7,HARMFUL。 - **描述性:** 7 帧 NEAR 只占 70.0%(Hypersim 上约 94%),carrier 在其余像素上远不如调和插值(FAR7 −0.437);carrier 与常数预测相当(−0.034,3/5);归一化读出下写入增益只剩 +0.0046(CI 跨 0)。 - **意义:** 只在 Hypersim 上训练的 carrier 迁移到 Replica 基本失败;写入能在这个很差的起点上稳定改进,但离无模型基线很远。 2026-10-03 18:23(hit):[V30](outputs/EXP-3D-RGBD-DYNAMIC-TTT-RGB-SUPERVISION-V30/PLAN_BEFORE_V30.md) 已冻结([协议](outputs/EXP-3D-RGBD-DYNAMIC-TTT-RGB-SUPERVISION-V30/PROTOCOL.md)),排在 4 号卡的队列中(V28 之后、Core B V11 之前)。 - **问题:** V29 中缓存只有 RGB 的新帧有害。本轮所有策略都不缓存这些帧,状态只由带深度的 3 个上下文帧构造,新帧的 RGB 只作测试时写入的监督。P1:只用新帧 RGB 的写入能否稳定改进状态(NO_STREAM − RGB_SUP_100)?P2:在上下文 RGB-D 监督之外再加新帧的 RGB 监督,能否稳定胜过只用上下文监督的写入(CTX_TTT_100 − CTX_RGB_SUP_100)? - **设计:** EVAL-V3 ∪ EVAL-V4(83 个场景,与 V29 相同),V17 L;NO_STREAM、CTX_TTT_100、RGB_SUP_100、CTX_RGB_SUP_100 与 CTX_RGB_SUP_100_WRONG_SCENE;流帧读取时不打开深度文件;基线与 3 帧混合与 V29 相同。 - **准备:** 测试 4 个通过(没有策略缓存流帧、评价后 Core B V11 的函数恢复原样);CPU 预演通过;完整测试 1144 个通过、3 个跳过;预注册 sha256 `5b51493e…`。 2026-10-03 18:01(hit GPU 训练 + CPU 评价):[V26](outputs/EXP-3D-RGBD-FAR-FOCUS-V26/README.md)(训练光线集中在测量覆盖不到的像素上,分支 C;两组的预注册锁在冻结后未变)。 - **主判定(主队列 EVAL-V3 ∪ EVAL-V4,80 个场景,第 24000 步):** - P1 FAR(G1) − FAR(GF) = +0.0198 [−0.0045, +0.0511],42/0/38,中位数 +0.0054,NOT_ESTABLISHED; - P2 调和插值 − AHFILL8(GF) = +0.0348 [+0.0128, +0.0605],49/3/31,NOT_DISTINGUISHABLE(G1 为 +0.0338,几乎相同)。 - **描述性:** - GF 的 FAR AbsRel 在 12 个检查点上的平均值都低于 G1(第 24000 步 0.333 对 0.353),但改善集中在少数场景; - 其他队列上不成立:第 24000 步 EVAL_FAR −0.0124(32/46),FRESH_V2 −0.0194(8/6),GF 反而更差; - NEAR 上没有明显代价(−0.0068,CI 跨 0)。 - **意义:** 只改变训练光线的分布,不能让 carrier 在测量覆盖不到的像素上稳定变好;混合方法相对调和插值的优势,仍然只在约 60% 的场景成立。 2026-10-03 17:52(hit GPU + CPU):[V29](outputs/EXP-3D-RGBD-DYNAMIC-TTT-RGB-ONLY-V29/README.md)(只有 RGB 的新帧,分支 D,完整性 PASS)。 - **全部像素的 AbsRel(EVAL-V3 ∪ EVAL-V4):** NO_STREAM 0.269;CTX_TTT_100 0.251;OFF_RGB 0.308;TTT_RGB_100 0.295;3 帧无模型基线 REPROJ3_HARMONIC 0.289。 - **主判定:** - P1 NO_STREAM − TTT_RGB_100 = −0.0261 [−0.0448, −0.0087],27/0/56,HARMFUL; - P2 REPROJ3_HARMONIC − HFILL8_3(TTT_RGB_100) = +0.0205 [+0.0008, +0.0434],43/3/37,PARTIAL。 - **描述性:** - 只缓存没有深度的新帧就让状态变差 −0.0386(32/51);写入挽回 +0.0125(38/45,CI 跨 0); - 不加新帧的混合(+0.0339,52/3/28)与只用上下文精修的混合(+0.0358)都比加了 RGB 新帧的混合好; - 若流帧有深度,7 帧无模型基线还要好 0.094(73/10); - 封存前流帧共以 RGB 读取 1992 次,没有一次读取深度;4,980 个指标重新计算一致。 - **意义:** 现有的 carrier 只在带深度的视图上训练过,缓存没有深度的帧对它是分布外的输入,反而有害;只用 RGB 的写入不足以抵消。要利用只有 RGB 的新帧,需要不缓存它们、只用于监督,或者让 carrier 在训练中见过没有深度的视图。 2026-10-03 15:03(hit GPU):[Core B V10](outputs/EXP-3D-RGBD-DYNAMIC-TTT-CARRIER-V10/README.md)(四个 carrier 上的写入增益,分支 A,完整性 PASS)。 - **OFF − TTT_100(EVAL-V3 ∪ EVAL-V4,83 个场景):** - V18 L(宽度 32,TRAIN127)+0.0244 [+0.0147, +0.0366],77/0/6,SUPPORTED; - V19 L(宽度 64,TRAIN72)+0.0286 [+0.0184, +0.0406],70/0/13,SUPPORTED; - V20 L(宽度 64,TRAIN127)+0.0327 [+0.0211, +0.0465],75/0/8,SUPPORTED; - 参照 V17 L +0.0213(73/0/10),与 Core B V8 相同。 - **描述性:** - 宽度对增益的作用 +0.0078 [+0.0026, +0.0134](60/23),更宽的 carrier 从写入中得到的更多;训练数据 +0.0036、交互 +0.0010,CI 都跨 0; - 四个 carrier 的 FAR 区域都改善 +0.017 到 +0.026,特异性 +0.026 到 +0.034; - V17 L 的 NO_STREAM、OFF 共 996 行与 Core B V8 逐位相同,TTT_100 只差 GPU 非确定性带来的 ≤3.4×10⁻⁴;15,936 个指标重新计算一致,NEAR 掩码 332/332 与 V17 相同。 - **意义:** 写入胜过只缓存,在宽度与训练数据不同的四个 carrier 上都成立,宽度越大增益越大。这仍是 carrier 内部的结论;与只用同样测量的无模型基线相比的实际价值见 V24、V25、V27。 2026-10-03 14:28(hit):[V29](outputs/EXP-3D-RGBD-DYNAMIC-TTT-RGB-ONLY-V29/PLAN_BEFORE_V29.md) 已冻结([协议](outputs/EXP-3D-RGBD-DYNAMIC-TTT-RGB-ONLY-V29/PROTOCOL.md)),排在 4 号卡的队列中。 - **问题:** 新帧只有 RGB 与相机、没有深度时(很多流式场景没有深度传感器),无模型基线只能用 3 个上下文帧的测得深度,而 carrier 仍可以缓存这些 RGB 帧并用它们的 RGB 写入。P1:只有 RGB 的新帧加写入是否稳定改进状态(NO_STREAM − TTT_RGB_100)?P2:带写入的 3 帧混合是否稳定胜过只能用 3 帧的无模型基线(REPROJ3_HARMONIC − HFILL8_3(TTT_RGB_100))? - **设计:** EVAL-V3 ∪ EVAL-V4,V17 L;NO_STREAM、CTX_TTT_100、OFF_RGB、TTT_RGB_100 与 TTT_RGB_100_WRONG_SCENE。流帧读取时不打开深度文件,深度记为无效,carrier 的深度统计与损失都只用它们的 RGB;封存之前的读取记录逐一核对。7 帧(含流帧深度)的无模型基线在封存之后计算,只作参照。 - **准备:** 测试 4 个通过(读取器从不打开深度、评价后读取器恢复原样);CPU 预演通过;完整测试 1140 个通过、3 个跳过;预注册 sha256 `f3a1c9bb…`。 2026-10-03 14:06(hit):[V28](outputs/EXP-3D-RGBD-DYNAMIC-TTT-REPLICA-V28/PLAN_BEFORE_V28.md) 已冻结([协议](outputs/EXP-3D-RGBD-DYNAMIC-TTT-REPLICA-V28/PROTOCOL.md)),排在 4 号卡的队列中(Core B V10 之后,与 V11、V26 依次运行)。 - **问题:** 跨数据集(Replica,8 个场景):冻结的 carrier 在那里比常数还差。100 步流帧写入能否稳定胜过只缓存(P1)?带写入的混合方法能否稳定胜过只用同样 7 帧的无模型基线(P2)? - **设计:** NO_STREAM、OFF、OFF_CTX_TTT_100、TTT_100、TTT_1000(描述性剂量)与 TTT_100_WRONG_SCENE;评价用 Core B V8 的封存评价;基线与混合直接调用 V27 冻结的代码;另加常数预测,并与 REPLICA-TRANSFER-V1 的结果行核对。Replica 只在本机使用。 - **准备:** CPU 预演通过;完整测试 1136 个通过、3 个跳过;预注册 sha256 `a1019f23…`。 2026-10-03 13:43(hit CPU):[V27](outputs/EXP-3D-RGBD-HYBRID-CONFIRM-V27/README.md)(两个新队列上的混合方法与"取更远深度"规则,分支 D,完整性 PASS)。 - **做法:** 在 TRAIN-EXT(55 个场景,Core B V9 封存的预测)与 EVAL-V5(23 个场景,Core B V7 封存的预测)上,重做 V24 的比较,并第一次预注册检验探索性分析得到的 MAXFILL 规则(NEAR7 用调和插值,其余取 carrier 与调和插值中更远的深度)。只在 CPU 上重新计分。 - **覆盖:** 7 帧 NEAR 占有效像素 95.8%(TRAIN-EXT)与 93.2%(EVAL-V5)。 - **全部像素的 AbsRel:** REPROJ7_HARMONIC 0.1747;carrier TTT_100 0.1713(只在 19/78 个场景更好);HFILL8_7(TTT_100) 0.1734;MAXFILL8_7(TTT_100) 0.1744。 - **主判定:** - P1 REPROJ7_HARMONIC − MAXFILL8_7(TTT_100) = +0.0003 [−0.0015, +0.0022],29/31/18,NOT_ESTABLISHED; - P2 REPROJ7_HARMONIC − HFILL8_7(TTT_100) = +0.0013 [−0.0096, +0.0144],36/19/23,NOT_ESTABLISHED。 - **描述性:** FAR7 像素上混合平均 +0.060(37/22,CI 跨 0),MAXFILL 比原混合差 −0.049;写入在 FAR7 上 +0.028(35/1/23,CI 不含 0);AHFILL8 在 FAR7 上 +0.097(CI 不含 0),全部像素只有 +0.006;220 个 3 帧掩码与 GPU 试点相同,carrier 的 AbsRel 与两轮的结果行逐一相同。 - **意义:** - 探索中发现的"取更远深度"规则没有在新队列上重现;V24 中混合方法的 PARTIAL 优势在新队列上也没有重现; - 新帧带着测得深度时,carrier(含写入)相对只用同样测量的无模型基线,没有稳定的实际优势。 2026-10-03 13:23(hit):[V26](outputs/EXP-3D-RGBD-FAR-FOCUS-V26/PLAN_BEFORE_V26.md) 已冻结([修订 1](outputs/EXP-3D-RGBD-FAR-FOCUS-V26/PLAN_AMENDMENT_1.md)),GPU 训练排在 Core B V10、V11 之后。 - **问题:** 混合方法里 carrier 只负责测量覆盖不到的像素,但它一直按全部像素训练。把训练光线集中到这些像素上,carrier 在那里的补全能否稳定变好,混合方法能否稳定胜过调和插值? - **设计:** GF 组 = V17 L 配方(GPU,24000 步,3 个 seed),每个角色每步 1024 条光线中至多 768 条取自 FAR 像素(距构造状态所用的全部视图的重投影命中 8 像素以外的有效像素),其余均匀;对照为 V21 已在 GPU 上训练好的 G1(均匀采样)。评价用冻结的 V17 EVAL 代码。 - **主判定:** P1 = FAR(G1) − FAR(GF)(第 24000 步,EVAL-V3/V4,V2 gate);P2 = 调和插值 − AHFILL8(GF) 的 INPAINT 标签;分支 A/B/C 与 V21 相同。 - **修订 1(冻结前):** CPU 冒烟测试只看训练日志的 FAR 像素数:加入 0–4 个额外视图后中位数只有 245,25% 的角色-步为 0。原规则(可放回抽 768 条)会把光线反复打在几个像素上,所以改为不放回抽取 min(768, FAR 像素数) 条。 - **准备:** 训练脚本由 V17 的派生,只改采样;两次冒烟(CPU)都正常,第一次到第 100 步的 checkpoint 与 DEV 评价;完整测试 1131 个通过、3 个跳过。 2026-10-03 12:55(hit CPU):[V25](outputs/EXP-3D-RGBD-STREAM-FAR-V25/README.md)(远处 query 上的 Core B 状态与使用同样帧的无模型基线,分支 D,完整性 PASS)。 - **做法:** 把 Core B V8 封存的状态在 EVAL-FAR 的远处 query 上渲染(79 个场景,每个场景 2 个远处帧;V8 构造状态时从未接触这些帧),在 CPU 上计分,不构造新的状态。EVAL-FAR 原记录会让流帧规则选中远处帧(158 个 episode 全部如此),所以读取时把远处帧放进 query 角色,流帧与 V8 逐一核对相同。 - **覆盖:** 7 帧 NEAR 占远处 query 有效像素的 87.1%(3 帧为 77.3%)。 - **全部像素的 AbsRel:** REPROJ7_HARMONIC 0.1939;carrier OFF 0.2242、TTT_100 0.2139;HFILL8_7(OFF) 0.1798、HFILL8_7(TTT_100) 0.1794;归一化读出的混合 HFILL8_7N(TTT_100) 0.1738。 - **主判定:** - P1 REPROJ7_HARMONIC − HFILL8_7(TTT_100) = +0.0145 [+0.0020, +0.0301],35/14/30,PARTIAL(62% 的场景不变差); - P2 HFILL8_7(OFF) − HFILL8_7(TTT_100) = +0.0004 [−0.0007, +0.0016],NOT_ESTABLISHED。 - **描述性:** - carrier 内部,写入在远处 query 上仍然稳定:OFF − TTT_100 +0.0102(58/21),特异性 +0.0189(66/13);但只用 carrier 时比无模型基线差(−0.0200,25/54); - 混合的变体相对无模型基线:AHFILL8_7 +0.0180(37/14/28),归一化读出 +0.0202 [+0.0077, +0.0355](40/14/25); - FAR7 像素上 carrier 平均好于调和插值(+0.066,36/29,CI 跨 0); - 核对:316 个 3 帧掩码与调和插值与 V17 相同;NO_STREAM 的渲染与 V17 第 24000 步的预测逐图最大差的中位数 1.2e-5;CPU 重渲染与 V8 的 GPU 预测一致(中位数 2.9e-5)。 - **意义:** - 在测量覆盖更少的远处 query 上,carrier 对无模型基线的补充平均为正,但与 Core A 一样只在约 60% 的场景成立; - 写入改善了 carrier 本身,但在实际可用的混合方法里几乎不起作用,因为它改变的主要是测量已经覆盖的像素; - Core A 与 Core B 的结论汇合到同一个问题:测量覆盖不到的区域上,carrier 的补全在场景之间不一致。 2026-10-03 12:30(hit GPU):[Core B V9](outputs/EXP-3D-RGBD-DYNAMIC-TTT-DOSE-V9/README.md)(300 步流帧写入与监督来源的重现,分支 D,完整性 PASS)。 - **query AbsRel(TRAIN-EXT,55 个场景):** NO_STREAM 0.230;OFF 0.191;OFF_CTX_TTT_100 0.172;TTT_100 0.156;TTT_300 0.151。 - **主判定:** - P1 TTT_100 − TTT_300 = +0.0041 [−0.0033, +0.0096],44/0/11 个场景,NOT_ESTABLISHED(第三个 seed 为负); - P2 OFF_CTX_TTT_100 − TTT_100 = +0.0162 [+0.0038, +0.0296],37/0/18,PARTIAL(67% 的场景不变差,与 Core B V8 的 69% 相近)。 - **描述性:** - 超出只缓存的增益:100 步 +0.0355(51/4),300 步 +0.0396(48/7);上下文监督本身 +0.0193(45/10); - 特异性 TTT_300 +0.0651(48/7);FAR 区域上剂量 +0.0028、监督来源 +0.0171,CI 都跨 0; - NO_STREAM 与 OFF 的 1320 行 AbsRel、660 个状态哈希都与 Core B V6 逐位相同;NEAR 掩码 220/220 与 GPU 试点相同。 - **意义:** 流帧写入的剂量在 100 步附近基本饱和;"新帧监督胜过上下文监督"在第二个队列上平均仍然成立,但仍只有约 2/3 的场景一致。 2026-10-03 11:49(hit CPU):[V24](outputs/EXP-3D-RGBD-STREAM-BASELINES-V24/README.md)(Core B 与使用同样帧的无模型基线比较,分支 D,完整性 PASS)。 - **做法:** 只在 CPU 上重新计分 Core B V8 封存的 EVAL-V3/V4 预测(83 个场景),不运行模型。无模型基线把 3 个上下文帧与 4 个流帧(共 7 帧)的测得深度重投影到 query,再用调和插值补洞(REPROJ7_HARMONIC);混合方法 HFILL8_7(p) 在 7 帧 NEAR 像素(距重投影命中 8 像素以内)用调和插值,其余像素用策略 p 的 carrier 深度。 - **覆盖:** 7 帧 NEAR 占 query 有效像素的 93.8%(3 帧为 79.3%),留给 carrier 的 FAR7 像素约 6%;332 个 query 中 200 个有 FAR7 像素。 - **全部像素的 AbsRel:** REPROJ7_HARMONIC 0.1746;carrier OFF 0.2071、TTT_100 0.1858;HFILL8_7(OFF) 0.1667、HFILL8_7(TTT_100) 0.1666。 - **主判定:** - P1 HFILL8_7(OFF) − HFILL8_7(TTT_100) = +0.0001 [−0.0004, +0.0007],35/20/28,NOT_ESTABLISHED; - P2 REPROJ7_HARMONIC − HFILL8_7(TTT_100) = +0.0081 [+0.0000, +0.0189],31/19/33,PARTIAL。 - **描述性:** - 只用 carrier 时,TTT_100 比 7 帧无模型基线差 −0.0112(只有 19/83 个场景更好); - FAR7 像素上 carrier 平均更好:TTT_100 比调和插值好 +0.0601 [−0.0034, +0.1342](34/30),TTT_100 比 OFF 好 +0.0139(37/27),都不一致; - 流帧让无模型基线从 0.289 降到 0.175(+0.114,78/5);3 帧混合相对调和插值 +0.034,与 V17 的 P2 一致; - 332 个 3 帧 NEAR 掩码与调和插值都与 V17 封存的数组完全相同。 - **意义:** - 新帧带着测得深度到达时,直接重投影已覆盖约 94% 的 query 像素,单靠它就胜过 carrier 加 100 步写入; - "写入胜过只缓存"在 carrier 内部成立(Core B V5–V8),但在实际可用的混合方法里,写入的作用只剩远处约 6% 的像素,整体增益约为 0; - carrier 真正可能有价值的地方,是测量覆盖不到的远处区域。今后的 Core B 对比应把同样帧的无模型基线作为必备的参照。 2026-10-03 11:32(hit GPU):[Core B V11](outputs/EXP-3D-RGBD-DYNAMIC-TTT-ONLINE-V11/PLAN_BEFORE_COREB_V11.md) 已冻结([协议](outputs/EXP-3D-RGBD-DYNAMIC-TTT-ONLINE-V11/PROTOCOL.md)),排在 Core B V9、V10 之后。 - **问题:** 帧一个一个到达时逐帧写入(每到一帧缓存并写 25 步,共 100 步,快速权重与 Adam 动量接着用),能否保住一次性写入(4 帧都到达后写 100 步)的增益? - **设计:** EVAL-V3 ∪ EVAL-V4(83 个场景),V17 L;NO_STREAM、OFF、TTT_100(与 Core B V7/V8 相同)、ONLINE_100(回放已到达的帧)、ONLINE_NEW_100(只监督最新一帧)、ALL_TTT_100(上下文与流帧一起监督)与 ONLINE_100_WRONG_SCENE。 - **主判定:** P1 OFF − ONLINE_100;P2 ½(OFF + TTT_100) − ONLINE_100(保住一半以上的增益);P3 ONLINE_NEW_100 − ONLINE_100(回放的作用,单独报告);分支 A(P1、P2 都 SUPPORTED)/B/C。 - **准备:** 只有 1 个流帧时在线写入与一次性写入逐位相同(测试);CPU 预演通过;报告里补了一句说明(在线写入首末两步监督的帧不同,损失不能直接比较)之后,完整测试重跑通过(1122 个通过、3 个跳过);预注册 sha256 `b23f1cb9…`。 2026-10-03 11:08(hit GPU):[Core B V10](outputs/EXP-3D-RGBD-DYNAMIC-TTT-CARRIER-V10/PLAN_BEFORE_COREB_V10.md) 已冻结([协议](outputs/EXP-3D-RGBD-DYNAMIC-TTT-CARRIER-V10/PROTOCOL.md)),排在 Core B V9 之后,4 号卡空闲时开始。 - **问题:** 100 步流帧写入超出只缓存的增益,是否在另外三个 carrier 上也成立?四个 carrier 都训练到第 24000 步,构成宽度(32/64)× 训练数据(TRAIN72/TRAIN127)的 2×2:V17 L(Core B V4–V9 所用)、V18 L、V19 L、V20 L。 - **设计:** EVAL-V3 ∪ EVAL-V4(83 个场景);每个 carrier 做 NO_STREAM、OFF、TTT_100 与 TTT_100_WRONG_SCENE;P1–P3 = V18 L、V19 L、V20 L 上的 OFF − TTT_100,三者都 SUPPORTED 为分支 A;V17 L 作本轮内的参照,并与 Core B V8 的行逐行比较(描述性)。 - **准备:** - 新的载入函数用各自实验的 `load_checkpoint` 读出 checkpoint,再放进 Core B 的 carrier 类;对 V17 L 与 Core B V3 的载入逐位相同(测试);12 个 checkpoint 的 sha256 都与各自 `dev_curve.json` 的记录相同; - CPU 预演通过;完整测试 1116 个通过、3 个跳过;预注册 sha256 `aba2a5f1…`; - 冻结时 Core B V9 正在运行,它的目录不在本轮对旧产物的封存范围内。 2026-10-03 10:45(hit GPU):[Core B V9](outputs/EXP-3D-RGBD-DYNAMIC-TTT-DOSE-V9/PLAN_BEFORE_COREB_V9.md) 已冻结([协议](outputs/EXP-3D-RGBD-DYNAMIC-TTT-DOSE-V9/PROTOCOL.md)),正在 4 号卡上运行。 - **问题:** 在 TRAIN-EXT(55 个场景,V17 L 没有在上面训练过;Core B V6 只在上面算过 10 步的策略)上: - P1:流帧写入从 100 步加到 300 步是否稳定更好(TTT_100 − TTT_300)? - P2:100 步时新帧监督是否稳定胜过上下文监督(OFF_CTX_TTT_100 − TTT_100,重现 Core B V8 的 P2)? - **设计:** NO_STREAM、OFF、OFF_CTX_TTT_100、TTT_100、TTT_300 与 TTT_300_WRONG_SCENE;除 TTT_300 外的策略都与 Core B V7 相同;NO_STREAM 与 OFF 和 Core B V6 逐行比较(描述性)。 - **准备:** - 第一次 CPU 预演被运行器拒绝:预演脚本漏设了 `NVIDIA_TF32_OVERRIDE=0`。这是预演环境的问题,记录保留在 `~/cv_work/coreb9_rehearsal_cpu_attempt1_tf32_env`;补上后预演通过; - 完整测试 1108 个通过、3 个跳过;预注册 sha256 `25644e43…`。 2026-10-03 10:14(hit GPU):[Core B V8](outputs/EXP-3D-RGBD-DYNAMIC-TTT-SOURCE-V8/README.md)(新帧监督与上下文监督,分支 B,完整性 PASS)。 - **query AbsRel(EVAL-V3 ∪ EVAL-V4,83 个场景):** NO_STREAM 0.269;OFF 0.207;OFF_CTX_TTT_100 0.197;TTT(10 步)0.199;TTT_100 0.186。 - **主判定:** - P1 OFF − TTT_100 = +0.0213 [+0.0141, +0.0297],73/0/10 个场景,SUPPORTED; - P2 OFF_CTX_TTT_100 − TTT_100 = +0.0114 [+0.0053, +0.0180],57/0/26,PARTIAL(CI 不含 0,但只有 69% 的场景不变差)。 - **描述性:** - 10 步 OFF − TTT = +0.0079,与 Core B V5 一致;剂量 10 → 100 步 +0.0134(70/13); - 上下文监督本身 OFF − OFF_CTX_TTT_100 = +0.0099(58/25),但在 FAR 区域为 0(36/44); - FAR 区域:TTT_100 相对只缓存 +0.0190,相对上下文监督 +0.0190,都不含 0; - 特异性 +0.0265(73/10);EVAL-V3、EVAL-V4 分别为 +0.0181、+0.0283;NEAR 掩码 332/332 与 V17 相同。 - **意义:** - 100 步的流帧写入在第二个大队列上稳定胜过只缓存,是目前最大、最一致的 Core B 增益; - 这部分增益约一半是对状态的一般性精修,另一半来自新帧的信息;在上下文没看到的区域,改善全部来自新帧监督; - "新帧监督胜过上下文监督"平均上成立,但还没达到场景一致性的门槛。 2026-10-03 09:03(hit GPU):[Core B V8](outputs/EXP-3D-RGBD-DYNAMIC-TTT-SOURCE-V8/PLAN_BEFORE_COREB_V8.md) 已冻结([协议](outputs/EXP-3D-RGBD-DYNAMIC-TTT-SOURCE-V8/PROTOCOL.md)),正在 4 号卡上运行。 - **问题:** 在 EVAL-V3 ∪ EVAL-V4(83 个场景,从未计算过上下文监督的写入与 100 步的流帧写入)上: - P1:100 步流帧 TTT 是否稳定胜过只缓存(OFF − TTT_100)? - P2:新帧都已缓存时,用新帧监督是否稳定胜过用上下文监督(OFF_CTX_TTT_100 − TTT_100)? - **设计:** NO_STREAM、OFF、OFF_CTX_TTT_100、TTT(10 步)、TTT_100 与 TTT_100_WRONG_SCENE;策略表与 Core B V7 相同。 - **准备:** CPU 预演通过;完整测试 1104 个通过、3 个跳过;预注册 sha256 `e4848ca4…`。 2026-10-03 08:46(hit GPU):[Core B V7](outputs/EXP-3D-RGBD-DYNAMIC-TTT-FRESH-V7/README.md)(全新队列 EVAL-V5 上的 100 步测试时写入,分支 B,完整性 PASS)。 - **query AbsRel(23 个场景):** NO_STREAM 0.286;CTX_TTT_100 0.280;OFF 0.224;OFF_CTX_TTT_100 0.220;TTT 0.217;TTT_100 0.209。 - **主判定:** - P1 NO_STREAM − CTX_TTT_100 = +0.0059 [−0.0003, +0.0132],17/0/6 个场景,NOT_ESTABLISHED; - P2 OFF − TTT_100 = +0.0150 [+0.0069, +0.0243],19/0/4,SUPPORTED。 - **描述性:** - 10 步的重现:OFF − TTT = +0.0068(17/6,PARTIAL);剂量 10 → 100 步,流帧 +0.0081(19/4),上下文 +0.0037; - 特异性:TTT_100 +0.0228(22/1),CTX_TTT_100 +0.0090(21/2);把别的场景的 100 步增量写进来,比只缓存还差; - 监督来源 OFF_CTX_TTT_100 − TTT_100:整体 +0.0107(CI 跨 0),FAR 区域 +0.0239 [+0.0093, +0.0417]; - 分区:TTT_100 的增益在 NEAR +0.0208,FAR +0.0171 [+0.0035, +0.0301];CTX_TTT_100 在 FAR 上没有增益(−0.0033)。 - **意义:** - 用新帧监督的梯度写入在第四个独立队列上胜过只缓存,100 步的增益约为 10 步的两倍,并扩展到上下文没看到的区域; - 只用上下文的精修时有时无(TRAIN-EXT 支持,EVAL-V3/V4 与 EVAL-V5 未确立),对补全没有帮助; - 新帧监督相对上下文监督的额外作用主要体现在 FAR 区域,整体上还未确立。 2026-10-03 08:11(hit GPU):[Core B V7](outputs/EXP-3D-RGBD-DYNAMIC-TTT-FRESH-V7/PLAN_BEFORE_COREB_V7.md) 已冻结([协议](outputs/EXP-3D-RGBD-DYNAMIC-TTT-FRESH-V7/PROTOCOL.md)),正在 4 号卡上运行。这是 EVAL-V5 的首次使用。 - **问题:** 依据 V23 的剂量结果选定 100 步之后,在全新的 EVAL-V5(23 个场景)上: - 100 步只用上下文的 TTT 能否稳定改进静态状态(P1 = NO_STREAM − CTX_TTT_100)? - 100 步用流帧监督的 TTT 能否稳定胜过只缓存新帧(P2 = OFF − TTT_100)? - **设计:** 8 种策略(0/10/100 步 × 是否缓存流帧 × 监督上下文或流帧)与 4 个"写入别的场景"的对照;10 步的各项对比作为重现,剂量、监督来源与特异性都是描述性的。 - **准备:** 5 个基本策略与 Core B V6 逐位相同(测试);CPU 预演通过;完整测试 1101 个通过、3 个跳过;预注册 sha256 `e7ede177…`。 2026-10-03 07:54(hit GPU):[V23](outputs/EXP-3D-RGBD-STATIC-TTT-EVAL-V23/README.md)(只用上下文的测试时精修,Core A 主队列,分支 C,完整性 PASS)。 - **队列与 carrier:** EVAL-V3 ∪ EVAL-V4(83 个场景);V17 L 第 24000 步。 - **全部像素的 AbsRel:** NO_STREAM 0.269;CTX_TTT(10 步)0.264;30 步 0.258;100 步 0.251。 - **主判定:** - P1 NO_STREAM − CTX_TTT(10 步)= +0.0054 [+0.0019, +0.0101],59/0/24 个场景,PARTIAL(只有 71% 的场景不变差); - P2 特异性 +0.0062 [+0.0023, +0.0109],61/0/22,PARTIAL; - 按预注册,Core B V6 中 10 步上下文 TTT 的结论在这里没有得到严格确认。 - **描述性的剂量臂:** - 30 步 +0.0112,100 步 +0.0176 [+0.0079, +0.0321],都是 66/0/17 个场景;100 步比 10 步多 +0.0121(64/19); - 100 步时 FAR 也改善:+0.0124 [+0.0024, +0.0279](NEAR +0.0195); - 调和插值 − carrier(FAR)从 +0.144 增加到 +0.157;AHFILL8 从 +0.035 到 +0.037。 - **与模型无关的基线:** 332 个 NEAR 掩码与调和插值都与 V17 封存的数组完全相同。 - **意义:** - Core B V4 在 TRAIN 上选出的 10 步,对没见过的场景太少:carrier 正是在 TRAIN 场景上训练的,在那里更多的步数有害;在没见过的场景上,步数越多越好; - 下一步(Core B V7)在全新的 EVAL-V5 上,把 100 步作为主判定的设置来检验,这一选择只依据 V23 在 EVAL-V3/V4 上的描述性结果。 2026-10-03 07:26(hit):[EVAL-V5 数据](outputs/EXP-3D-RGBD-EVAL-V5-DATA/README.md)准备完成(PASS)。 - **规则:** 按用户的决定放宽:允许 val 划分,允许与 DEV/FRESH 共享 volume;其余与 TRAIN-EXT/EVAL-V4 相同,并排除所有曾被观察、使用、读取或判为无效的场景。 - **结果:** - 锁定 34 个候选,23 个有效(全部来自官方 train 划分),分布在 7 个 volume;下载 332 MB; - 7 个 volume 都只与 DEV 共享,与 TRAIN72、FRESH、EVAL-V3/V4、TRAIN-EXT 都不共享,因此与 V17 L 的训练集按 volume 不相交; - 23 个场景都能取到 Core B 的 4 个流帧。 - **用途:** 机制确认队列。首个使用者在其计划中写明;在此之前不在它上面运行任何模型。 2026-10-03 07:15(hit GPU):[V23](outputs/EXP-3D-RGBD-STATIC-TTT-EVAL-V23/PLAN_BEFORE_V23.md) 已冻结并在 4 号卡上运行:在 Core A 的主队列(EVAL-V3 ∪ EVAL-V4,83 个场景)上确认只用上下文的 TTT,并用 FAR、调和插值与 AHFILL8 评估它对补全的作用;30/100 步的剂量臂只作描述。预注册 sha256 `e629b9b9…`。 2026-10-03 06:59(hit GPU):[Core B V6](outputs/EXP-3D-RGBD-DYNAMIC-TTT-CONTEXT-V6/README.md)(测试时写入需要新帧吗,分支 A,完整性 PASS)。 - **队列:** TRAIN-EXT,55 个场景;V17 L 从未训练过,Core B 从未使用过。设置沿用 Core B V4(10 步,学习率 1e-3)。 - **query AbsRel:** NO_STREAM 0.230;CTX_TTT(只用 3 个上下文帧做 TTT)0.222;OFF 0.191;OFF_CTX_TTT(缓存新帧,但用上下文监督)0.184;TTT(用新帧监督)0.176。 - **主判定:** - P1 STREAM_TTT = OFF − TTT = +0.0148 [+0.0054, +0.0245],49/0/6 个场景,SUPPORTED:第三个独立队列上重现; - P2 CONTEXT_TTT = NO_STREAM − CTX_TTT = +0.0078 [+0.0026, +0.0133],45/0/10,SUPPORTED:不加新帧、只用上下文视图做测试时优化,也能稳定改进静态状态。 - **描述性:** - 监督来源 OFF_CTX_TTT − TTT = +0.0073 [−0.0027, +0.0167],CI 跨 0:缓存新帧之后,用新帧监督平均更好,但未确立; - 缓存新帧之后再做上下文 TTT 也有用:OFF − OFF_CTX_TTT = +0.0075 [+0.0024, +0.0133]; - 特异性:TTT +0.0144(46/9),CTX_TTT +0.0075(43/12); - 分区:增益以 NEAR 为主(STREAM_TTT +0.016,CONTEXT_TTT +0.009);FAR 上 STREAM_TTT +0.012 [+0.0004, +0.0242],CONTEXT_TTT +0.003(CI 跨 0); - NEAR 掩码 220/220 与 GPU 试点封存的掩码完全相同。 - **意义:** - 梯度式测试时写入首先是一种一般性的测试时精修,对静态 carrier 同样有效,这也是 Core A 的一个一致的改进(82% 的场景不变差); - 新帧监督带来的额外增益还需要更多证据; - 增益主要让已观测的表面更准,对未观测区域的补全帮助有限。 2026-10-03 06:42(hit GPU):[Core B V6](outputs/EXP-3D-RGBD-DYNAMIC-TTT-CONTEXT-V6/PLAN_BEFORE_COREB_V6.md) 已冻结([协议](outputs/EXP-3D-RGBD-DYNAMIC-TTT-CONTEXT-V6/PROTOCOL.md)),正在 4 号卡上运行。 - **问题:** - 流帧 TTT 能否在第三个独立队列上重现? - TTT 的增益需要新帧吗?只用 3 个上下文帧自己的 RGB-D 做 TTT,能否改进不加流帧的静态状态?若能,就是对静态 carrier 的一般性测试时精修,也属于 Core A。 - **设计:** - 队列 TRAIN-EXT(55 个场景):V17 L 从未在上面训练过,Core B 从未使用过; - 策略 NO_STREAM、CTX_TTT(新)、OFF、OFF_CTX_TTT(新)、TTT;对照 TTT_WRONG_SCENE、CTX_TTT_WRONG_SCENE; - 设置沿用 Core B V4(10 步,学习率 1e-3),不重新选择; - P1 = OFF − TTT,P2 = NO_STREAM − CTX_TTT,冻结的 V2 gate,分支 A/B/C/D; - 描述性:监督来源(OFF_CTX_TTT − TTT)、特异性、归一化读出、NEAR/FAR 分区(与模型无关的掩码,并与 GPU 试点封存的掩码逐一核对)。 - **准备:** 4 个测试(NO_STREAM/OFF/TTT 与 Core B V4 逐位相同);CPU 预演通过;完整测试 1089 个通过、3 个跳过;06:42:46 冻结(预注册 sha256 `136d777a…`)。 2026-10-03 06:18(hit GPU):[Core B V5](outputs/EXP-3D-RGBD-DYNAMIC-TTT-EVAL-V5/README.md)(在 83 个独立场景上确认基于梯度的测试时写入,分支 A,完整性 PASS)。 - **设计:** EVAL-V3 ∪ EVAL-V4 的 83 个场景,从未用于 Core B,也从未用于 carrier 的训练或选择;沿用 Core B V4 在 TRAIN 上选出的设置(10 步,学习率 1e-3),不重新选择。 - **query AbsRel:** 不加流帧 0.269;只缓存(OFF)0.207;TTT 0.199;写入别的场景的 TTT 增量 0.206。 - **主判定:** - TTT_BEYOND_BASELINE = OFF − TTT = +0.0079 [+0.0030, +0.0135],65/0/18 个场景,SUPPORTED; - TTT_SPECIFICITY = TTT_WRONG_SCENE − TTT = +0.0068 [+0.0015, +0.0122],67/0/16,SUPPORTED; - 三个 seed 都为正(+0.010、+0.004、+0.009);归一化读出下结果相同。 - **描述性:** - EVAL-V3 +0.0053(44/13),EVAL-V4 +0.0135(21/5);EVAL-V3 上特异性的 CI 跨 0; - 缓存新帧本身 +0.062(68/15);92% 的 episode 中,流帧自身的损失下降。 - **事后(探索性):** 借用 V17 的 NEAR 掩码分区: - TTT 超出缓存的增益集中在上下文已经看到的 NEAR 区域(+0.0082,67/16;特异性 +0.0075); - 在没看到的 FAR 区域只有 +0.0047(CI 跨 0),特异性约为 0; - FAR 区域的改善几乎都来自新帧本身的观测(+0.089)。 - **意义:** - Core B 第一个在独立数据上确认的正结果:基于梯度的测试时写入胜过只缓存新帧,并且携带本场景的信息; - 效果小(约为 OFF 误差的 4%),主要让已观测的表面更准,而不是补全未观测的区域; - 第一次正式运行因封存屏障的平方级校验过慢而停止,修正后重新冻结运行(见事故记录)。 2026-10-03 05:55(hit):[V21](outputs/EXP-3D-RGBD-SEGMENT-DIVERSITY-V21/README.md)(同一批训练场景里更多样的片段,分支 C)。 - **设计:** G1 是 TRAIN72 的原片段(V17 L 在 GPU 上的重跑);G5 是原片段加 240 个 SEG-V1 新片段。各 3 个 seed,24000 步,都在 GPU 上。 - **P1:** DIVERSITY_GAIN = FAR(G1) − FAR(G5),第 24000 步:−0.023 [−0.063, +0.014],32/0/48 个场景,NOT_ESTABLISHED(G5 略差)。 - **P2:** 调和插值 − AHFILL8(G5) = +0.031 [+0.013, +0.054],47/3/33,NOT_DISTINGUISHABLE。 - **描述性:** - 每个检查点上 G5 的 FAR 都比 G1 差(第 24000 步 0.377 对 0.353); - EVAL-FAR 上 G5 明显更差:−0.034 [−0.060, −0.006];FRESH-V2 上 +0.024,CI 跨 0; - 设备检查:V17 L(CPU)与 G1(GPU)在第 24000 步的 FAR 相差 −0.005 [−0.016, +0.005],GPU 重跑与 CPU 一致。 - **意义:** - 同一批场景里的内容多样性不能解决补全的不一致,反而略有损害,与 V14/V18 中"更多场景在 6000 步时有害"一致; - 加宽、加场景、加片段多样性都不是答案; - 结合 V22 与事后诊断:长训练的 FAR 增益大部分是读出偏差,而补全的不一致主要来自一部分稳定变差的难场景。 2026-10-03 05:25(hit CPU):[V22](outputs/EXP-3D-RGBD-DEPTH-READOUT-V22/README.md)(长训练的补全增益是否来自未归一化的深度读出,分支 C,完整性 PASS)。 - **背景(事后、探索性,[诊断记录](outputs/EXP-3D-RGBD-POSTHOC-DIAG-V1/README.md)):** - 渲染器的深度是 Σ wᵢtᵢ,没有除以不透明度,所以不透明度低于 1 时深度偏近; - 在 EVAL-V3/V4 上把 V17–V20 已封存的预测改用归一化读出(深度除以不透明度)重新计分,长训练的 FAR 增益从 +0.04–0.06 降到 +0.003–0.011。 - **预注册的确认(EVAL-FAR,79 个场景,远处 query,只重新计分,不运行模型):** - V17 长训练增益:RAW +0.058 [+0.036, +0.079];归一化后 +0.021 [+0.003, +0.039],CI 仍不含 0; - 主判定一 NOT_EXPLAINED:残差的 CI 上界 0.039 超过 RAW 增益的一半 0.029; - 主判定二:第 6000 步的归一化增益 +0.050 [+0.033, +0.068],55/0/23 个场景,PARTIAL; - FAR 平均不透明度:第 6000 步 0.888,第 24000 步 0.955; - RAW 读出与 V17–V20 的记录逐位一致。 - **描述性:** - V18–V20 的残差为 +0.009 到 +0.026;V18 为分支 A,V19、V20 为 C; - 第 24000 步的归一化增益为 +0.013 到 +0.029;NEAR 区域几乎不受影响。 - **意义:** - 长训练的 FAR 增益大部分(约 2/3)来自深度读出的偏差,但在远处 query 上还剩约 1/3 是真实的补全改进; - 探索性分析中"几乎全部来自读出"的说法没有得到确认; - 归一化读出几乎没有代价,平均改进明显,但还不是一致的改进(约 70% 的场景)。此后的实验应当同时报告两种读出。 2026-10-03 05:15(hit GPU):[Core B V5](outputs/EXP-3D-RGBD-DYNAMIC-TTT-EVAL-V5/PLAN_BEFORE_COREB_V5.md) 已冻结([协议](outputs/EXP-3D-RGBD-DYNAMIC-TTT-EVAL-V5/PROTOCOL.md)),正在 4 号卡上运行。 - **问题:** Core B V4 的 TTT(10 步,学习率 1e-3,在 TRAIN 上选出,不重新选择)在 Core B 从未使用过的 EVAL-V3 ∪ EVAL-V4(83 个场景)上,是否仍然胜过只缓存新帧,并且携带场景特异的信息? - **设计:** carrier、episode 规则、策略、对照与判定都与 Core B V4 相同;EVAL 记录的上下文由同一个只读上下文的加载器读取,范围规则与 DEV 相同。 - **准备:** - 测试证明:同一批合成场景上,本轮的队列路径与 Core B V4 的 DEV 路径得到逐位相同的缓存状态; - CPU 预演用 4 个 TRAIN 场景充当两个 EVAL 队列,冻结与运行全流程通过; - 完整测试 1081 个通过、3 个跳过(隐藏 CUDA); - 05:15:01 第一次冻结(预注册 sha256 `a0183207…`),05:17 开始正式运行; - **事故:** 冻结的封存屏障每次读取都重新计算全部 664 个状态(约 3 GB)的哈希,开销是平方级的,三个 seed 要到 12:00 以后才能完成。05:57 在写出任何指标之前停止,第一次尝试的产物原样保留([事故记录](outputs/EXP-3D-RGBD-DYNAMIC-TTT-EVAL-V5/audit/incident_attempt1_slow_seal_barrier.md)); - **修正:** 本轮新模块中加入 `CachedSealBarrier`:封存关闭时与最后一个 query 之后各完整校验一次,其余语义不变。测试证明它与每次都完整校验的屏障得到逐项相同的输出; - 完整测试 1085 个通过、3 个跳过,CPU 预演通过;06:06:00 重新冻结(预注册 sha256 `f2a6f0e9…`),06:06 开始 GPU 预演,通过后自动开始正式运行。 2026-10-03 04:56(hit GPU):[Core B V4](outputs/EXP-3D-RGBD-DYNAMIC-TTT-V4/README.md)(基于梯度的测试时写入,分支 A,完整性 PASS)。 - **TRAIN 选择:** 4 组设置在 TRAIN 上的平均增益都不为正(10 步/1e-3:−0.0001;10/1e-2:−0.011;50/1e-3:−0.004;50/1e-2:−0.010),按规则选 10 步、学习率 1e-3。 - **DEV AbsRel:** 不加流帧 0.330;只缓存(OFF)0.236;TTT 0.224;写入别的场景的 TTT 增量 0.239。 - **主判定:** - TTT_BEYOND_BASELINE = OFF − TTT = +0.0115 [+0.0050, +0.0187],8/0/0 个场景,SUPPORTED; - TTT_SPECIFICITY = TTT_WRONG_SCENE − TTT = +0.0146 [+0.0072, +0.0224],8/0/0,SUPPORTED; - 三个 seed 都为正。 - **意义:** - Core B 四轮中第一次:写入胜过只缓存新帧,并且携带本场景的信息。 - 但增益不大(约为 OFF 误差的 5%),而且只在 8 个反复使用的 DEV 场景上。 - TRAIN 选择集上没有增益,可能因为 carrier 正是在这些场景上训练的;DEV 场景是 carrier 没见过的。 - 按计划,下一步在独立数据上确认。 - **事后检查(探索性):** 用归一化的深度读出(深度除以不透明度)重新计分,TTT 的优势不变(+0.0120,7/0/1;特异性 +0.0152,8/0/0)。OFF 与 TTT 的 query 平均不透明度几乎相同(0.977、0.976),所以增益不是读出偏差。 2026-10-03 02:26(hit):[Core B V4](outputs/EXP-3D-RGBD-DYNAMIC-TTT-V4/PLAN_BEFORE_COREB_V4.md) 已冻结([协议](outputs/EXP-3D-RGBD-DYNAMIC-TTT-V4/PROTOCOL.md)),排队等 4 号卡。 - **问题:** 在 V17 第 24000 步的 carrier 上,用新帧自己的 RGB 与测得深度,对快速权重做几步梯度下降(测试时训练,TTT),能否胜过只缓存新帧? - **设计:** - 策略:NO_STREAM、OFF(只缓存)、TTT;对照 TTT_WRONG_SCENE(用别的场景的 TTT 增量); - 超参数(步数 10/50 × 学习率 1e-3/1e-2)只在 32 个 TRAIN episode 上选择,选定之后才开始 DEV 评价; - 主判定:TTT_BEYOND_BASELINE = OFF − TTT 与 TTT_SPECIFICITY = TTT_WRONG_SCENE − TTT,用冻结的 V2 gate。 - **准备:** - 冻结前检查代码时发现,场景数据类初始化时会读取实验目录里的 `train_depth_prior.json`。冻结流程改为从 V7 复制它,并核对与 Core B V3 的副本相同; - CPU 预演用 2 个 TRAIN 场景临时充当 DEV,冻结与运行全流程通过; - 完整测试 1077 个通过、3 个跳过(隐藏 CUDA)。 - **执行:** V21 训练结束、释放 4 号卡之后,先在 GPU 上预演一次,通过后自动开始正式运行,预计约 2 小时。 - **V21:** - 01:31 冻结;第一次启动因缺 `checkpoints/` 目录在第 0 步失败([事故记录](outputs/EXP-3D-RGBD-SEGMENT-DIVERSITY-V21/audit/incident_launch_missing_checkpoints.md)); - 02:03 以同一冻结命令重启,预计 05:15 前后训练结束,CPU 上的评价随后自动开始。 2026-10-03 01:59(hit GPU):[Core B V3](outputs/EXP-3D-RGBD-DYNAMIC-WRITE-V3/README.md)(在 V17 第 24000 步的 carrier 上重新检验学到的写入,分支 C,完整性 PASS)。 - **DEV AbsRel:** 不加流帧 0.330;只缓存 4 个新帧(OFF)0.236;学到的写入(ALL)0.237;未训练的写入 0.236;写入别的场景 0.236。 - **主判定:** - BEYOND_BASELINE = OFF − ALL = −0.0015 [−0.0079, +0.0031](4/4 个场景),NOT_ESTABLISHED; - SPECIFICITY = ALL_WRONG_SCENE − ALL = −0.0011,NOT_ESTABLISHED。 - **描述性:** 缓存新帧带来 +0.094 [+0.021, +0.189](7/8 个场景),比 Core B V2 的 +0.052 更大;训练写入规则的作用为 −0.0015。 - **意义:** carrier 变强以后,结论与 Core B V2 相同。收益全部来自把新帧纳入多视角融合,学到的快速权重写入没有额外贡献,也不携带场景信息。按现有设计,Core B 的核心主张不成立;要继续,需要重新设计写入(例如基于梯度的测试时训练,或利用新帧测得深度的写入统计)。 2026-10-03 01:4x(hit):[V19](outputs/EXP-3D-RGBD-LONG-TRAIN-WIDTH-V19/README.md)、[V20](outputs/EXP-3D-RGBD-LONG-TRAIN-WIDTH-DATA-V20/README.md)(宽度 64 × 长训练,都是分支 C),以及 V17–V20 的宽度 × 数据 × 步数 2×2×2(描述性,`outputs/EXP-3D-RGBD-LONG-TRAIN-WIDTH-DATA-V20/audit/two_by_two_by_two_*.json`)。 - **训练长度(6000 → 24000 步):** - 四个组合的 FAR 改善都在 +0.042 到 +0.062 之间,CI 都不含 0; - 但只有约 2/3 到 3/4 的场景变好,gate 都是 PARTIAL。 - **宽度 32 → 64:** 任何组合下都没有作用(−0.002 到 +0.007,CI 都跨 0);长训练下也一样(V19 P2 +0.004,V20 P2 −0.002)。 - **训练数据 72 → 127 个场景:** 第 6000 步时有害(−0.027、−0.032,CI 不含 0);第 24000 步时劣势缩小到 −0.009、−0.016(CI 跨 0),没有转为有利。 - **交互项:** 两两交互与三阶交互都跨 0。最好的组合是宽度 64、TRAIN72、第 24000 步(FAR 0.344),与宽度 32 的 0.348 几乎相同。 - **[GPU 试点](outputs/EXP-3D-RGBD-GPU-LENGTH-PILOT-V1/README.md)(探索性,96000 步,TRAIN-EXT 的 55 个场景):** 24000 步之后不再改善,宽度 64 也没有优势。 - **意义:** 在本项目的规模内,只有训练长度有用,而且约 24000 步就饱和。补全在场景之间的不一致,不能靠加宽、加数据或加长训练来解决。 - **正在进行(GPU,4 号卡):** - [Core B V3](outputs/EXP-3D-RGBD-DYNAMIC-WRITE-V3/PLAN_BEFORE_COREB_V3.md):在 V17 第 24000 步的 carrier 上重新检验学到的写入; - [V21](outputs/EXP-3D-RGBD-SEGMENT-DIVERSITY-V21/PLAN_BEFORE_V21_DATA.md):用同一批训练场景相机轨迹后段的 240 个新片段,检验内容多样性。 2026-10-02 12:4x(hit):[V17](outputs/EXP-3D-RGBD-LONG-TRAIN-V17/README.md)、[V18](outputs/EXP-3D-RGBD-LONG-TRAIN-DATA-V18/README.md)(训练到 24000 步,都是分支 C)。 - **内置对照:** 两者前 6000 步分别与 V11 C1、V14 C1 逐位相同。 - **长训练增益(FAR,第 6000 → 24000 步):** - TRAIN72:+0.044 [+0.018, +0.069],54/26 个场景; - 127 个场景:+0.062 [+0.030, +0.095],55/25 个场景。 - CI 都不含 0,留一场景都 > 0;但只有约 2/3 的场景变好,未达 75% 的一致性门槛,gate 为 PARTIAL。 - **组合方法(调和插值 − AHFILL8,第 24000 步):** - TRAIN72:+0.035 [+0.015, +0.057];127 个场景:+0.032 [+0.012, +0.055]。 - 这是本项目最好的组合结果,但同样因场景一致性不足,标为 NOT_DISTINGUISHABLE。 - **数据 × 长度(描述性 2×2):** 更多数据的补全劣势从第 6000 步的 −0.027 [−0.049, −0.007],缩小到第 24000 步的 −0.009 [−0.031, +0.014],没有反转。 - **DEV 选择:** 冻结的 DEV 规则仍选早期 checkpoint(750–5000 步),选出的模型补全比第 6000 步还差。 - **意义:** - 训练长度是真实但不稳定的杠杆:平均改善明确,约三分之一的场景不改善。 - FAR 在 16000 步之后基本走平(TRAIN72:0.356 → 0.348;127 个场景:0.354 → 0.358)。 - V19、V20(宽度 64)预计 10/3 凌晨出结果;GPU 试点(96000 步)今晚出结果。 2026-10-02 04:3x(hit):工作从 zonghan_o 迁移到 hit(amax,8 张 RTX A6000,128 个 CPU 核)。迁移说明见镜像根目录下的 `_archives_cv/MIGRATION_cv.md`。 - **复现:** 在 hit 的 CPU 上限制 AVX2 指令集后,单线程训练与 zonghan_o 逐位一致:V15 C0 的 6000 步训练记录、第 5000/6000 步参数、12 个 DEV 检查点全部相同([HIT-REPRO-V1](outputs/EXP-3D-HIT-REPRO-V1/README.md))。不限制时第 1 步就不同,到第 6000 步参数明显不同,DEV 最多差 0.047,选出的 checkpoint 也不同。GPU(4 号卡)上训练每步快 7–20 倍,但无法逐位复现:强制确定性时 3D `grid_sample` 的反向没有确定性实现;两次 GPU 运行从第 2 步起就不同,选出的 checkpoint 也不同。所以需要逐位对照的正式实验都用 CPU。 - **V17–V20(宽度 × 数据 × 训练长度):** 都已冻结,在 CPU 上并行训练到 24000 步。V17:宽度 32、TRAIN72;V18:宽度 32、127 个场景;V19:宽度 64、TRAIN72;V20:宽度 64、127 个场景。每个的前 6000 步分别必须与 V11 C1、V14 C1、V12 C1、V15 C1 逐位相同,开头的步数都已确认相同。V17、V18 预计 2026-10-02 中午出结果,V19、V20 预计当晚。 - **GPU:** cv 只用 4 号卡,并且只在它完全空闲时使用;cv 任务优先于本账号的 TTT 任务。 2026-09-30 08:3x:[V16](outputs/EXP-3D-RGBD-VOLUME-DISJOINT-V16/README.md)(陌生 volume 上的补全优势,分支 D)。 - **结果:** 在与训练集 volume 不相交的 FRESH-V2 上,V11 C1 相对调和插值的补全优势平均 +0.185,但 8 好 6 差、CI 跨零;与共享 volume 的 EVAL-V3/V4 之间没有可检测的差距(−0.114,CI [−0.550, +0.177])。 - **意义:** V15 事后分析的"熟悉度"解释没有得到证实,只能作为假设;补全优势在场景之间极不一致。 2026-09-30 08:1x:[V15](docs/experiments/EXP-3D-RGBD-WIDTH-DATA-V15/README.md)(127 个训练场景上宽度 32→64,分支 C)。 - **2×2(FAR):** 宽度 32:72 个场景 0.421,127 个场景 0.443;宽度 64:0.415、0.446。127 个场景上加宽没有改善补全(−0.003,CI 跨零),交互作用 +0.009(方向与容量不足假设相反)。 - **完整性:** C0 与 V14 C1 逐位相同;C1 与 C0 共享数据流。 - **意义:** 宽度、数据量以及两者的组合都没有改善补全;CPU 上的规模杠杆已全部检验。 - **事后分析:** 数据带来的补全变化与评价场景所在 volume 的训练曝光变化相关(按 volume,曝光上升组比下降组好 +0.055,CI [+0.013, +0.099]),提示补全可能部分来自对同一 volume 的熟悉;V16 未能证实。 2026-09-30 03:5x:[V14](docs/experiments/EXP-3D-RGBD-DATA-SCALE-V14/README.md)(只增加训练场景,72→127,分支 C)。 - **结果:** C1 在被看到的区域明显更好(NEAR 0.288→0.246),但补全略差(FAR 0.421→0.443,DATA_GAIN −0.022,CI 上界 +0.001);组合方法因此显著变差(−0.011,`HARMFUL`),与调和插值补洞打平(0.289 对 0.289)。 - **完整性:** C0 与 V11 C1 逐位相同(训练记录、DEV 曲线、选中的 checkpoint、648 个 EVAL 预测)。 - **意义:** 在 CPU 可及的规模内,宽度(V11/V12)与数据量(V14)都不是补全的杠杆;学到的状态仍与经典几何补洞持平。 - **事后分析:** 在相同训练步数下,更多数据的模型在每一个步数上补全都更差、被看到的区域都更好,说明容量固定时数据把模型推向重建而非补全。 2026-09-30 01:2x:[V13](outputs/EXP-3D-RGBD-VOLUME-V13/README.md)(状态体积之外的弃权回退,分支 B)。 - **结果:** 在新数据 [EVAL-FAR](outputs/EXP-3D-RGBD-EVAL-FAR-DATA/README.md)(79 个场景的远处 query)上,把低不透明度像素改用调和插值补洞,组合方法从 0.256 降到 0.246(+0.011,CI 下界 +0.005,43/31/5 个场景,`SUPPORTED`)。 - **但是:** 相对调和插值补洞本身仍只是数值领先(+0.016,CI 跨零,33 好 45 差)。 - **局限:** 远处 query 的表面仍有 93% 在体积内,Replica 式的低覆盖没有被检验到。 - **下一步:** 统计可用于扩大训练集的 Hypersim 场景,写定数据规模实验的计划(CPU)。 2026-09-30 凌晨:[V12](docs/experiments/EXP-3D-RGBD-WIDTH-V12/README.md)(宽度 64,分支 C)与 [Replica 跨数据集迁移](outputs/EXP-3D-RGBD-REPLICA-TRANSFER-V1/README.md)(分支 C)。 - **V12:** 宽度 32→64 在 EVAL-V4 上对补全只有 +0.004,CI 跨零。CPU 上可做的容量扩展到此为止,都没有见效。 - **Replica:** 冻结的方法在 Replica 上显著差于经典几何补洞(−0.225),carrier 甚至差于常数深度。 - 事后诊断:一半以上的 query 表面落在状态的体积之外;即使在体积内,精度也明显下降。 - 学到的状态没有跨数据集迁移。 - **本阶段总结:** Core A 在 Hypersim 上通过了资格验证,并与几何基线大体持平;组合方法在 Hypersim 上数值领先但未确立,在 Replica 上失败;Core B 两轮都未支持。受保护的 final holdout 未打开,按计划也不建议为补全这条主张打开。 2026-09-29 夜间:[V10](docs/experiments/EXP-3D-RGB-PRIOR-BOUNDS-V10/README.md)(RGB-only,分支 B)与 [EVAL-V4 复现](outputs/EXP-3D-RGBD-REPLICATION-EVAL-V4/README.md)(分支 B)。 - **V10:** 改用 TRAIN72 先验确定 bounds,RGB-only 的 DEV 误差从 0.603 降到 0.461(+0.142,CI 下界 +0.022,7/8 个场景),但 RGB-only 状态仍与常数无法区分,也不带场景信息。 - **EVAL-V4 复现:** 在 26 个新场景上,组合方法(0.378)相对调和插值补洞(0.388)仍只是数值领先(+0.010,CI 跨零,12 好 14 差),结论与 EVAL-V3 一致。 - **进行中:** - [V12](outputs/EXP-3D-RGBD-WIDTH-V12/PROTOCOL.md)(hidden 64)。宽度 32 的对照与 V11 C1 逐位相同。 - 之后是 [Replica 跨数据集迁移](outputs/EXP-3D-RGBD-REPLICA-TRANSFER-V1/PLAN_BEFORE_REPLICA_USE.md)。 2026-09-29 晚间:[V11](docs/experiments/EXP-3D-RGBD-COMPLETION-V11/README.md)(分支 C)与 [经典补洞对照 INPAINT-V1](outputs/EXP-3D-RGBD-INPAINT-BASELINES-V1/README.md)(分支 B),全程 CPU。 - **V11:** 加宽 carrier(8→32)没有稳定改善看不到区域的补全(EVAL-V3 +0.005,CI 跨零)。V11 因浮点舍入导致的颜色越界做了 Amendment 1,重跑与失败的那次逐位相同。 - **INPAINT-V1:** "调和插值补洞 + 宽 carrier 补看不到的区域"在 EVAL-V3 上 AbsRel 0.2325,是目前最低的;但相对纯调和插值(0.244)的优势 +0.012,CI 跨零,未达到预注册标准。 - **进行中:** - [V10](outputs/EXP-3D-RGB-PRIOR-BOUNDS-V10/PROTOCOL.md)(RGB-only)与 [V12](outputs/EXP-3D-RGBD-WIDTH-V12/PROTOCOL.md)(hidden 64,按计划因 V11 补全增益点估计 > 0 而运行)并行训练; - 之后依次是 [EVAL-V4 复现](outputs/EXP-3D-RGBD-REPLICATION-EVAL-V4/PROTOCOL.md) 与 [Replica 跨数据集迁移](outputs/EXP-3D-RGBD-REPLICA-TRANSFER-V1/PLAN_BEFORE_REPLICA_USE.md)(用户已同意下载 Replica,[数据](outputs/EXP-3D-RGBD-REPLICA-DATA-V1/README.md)已准备好)。 2026-09-29:[Core B 第二轮](docs/experiments/EXP-3D-RGBD-DYNAMIC-WRITE-V2/README.md)(V9 C1 carrier 上的学习写入),全程 CPU,预注册分支 C。 - 结果:直接缓存新帧让 DEV AbsRel 从 0.258 降到 0.205;学习写入没有任何额外收益(−0.001,CI 跨零),也不带场景信息。 - 结论:在对视角数稳健的 carrier 上,Core B 原设计的快速权重写入是多余的,动态更新靠重新融合更多视角即可。Core B 的核心主张未得到支持。 - 进行中:[V11](outputs/EXP-3D-RGBD-COMPLETION-V11/PROTOCOL.md)(加宽 carrier + 保留测量,EVAL-V3 57 个场景)。启动时遗漏了 checkpoints 目录,6 个训练在开始前失败,已按运行器规则存档([说明](outputs/EXP-3D-RGBD-COMPLETION-V11/audit/failed_attempts/LAUNCH_INCIDENT.md))并重新启动;窄版前 300 步与 V9 C1 逐位相同。 2026-09-29:[训练视角数 V9](docs/experiments/EXP-3D-RGBD-VIEWCOUNT-V9/README.md),全程 CPU,预注册分支 B。 - 结果:DEV AbsRel 固定 3 视角 0.259、可变 3–7 视角 0.257、固定 7 视角 0.275;VIEWCOUNT_GAIN +0.002,CI 跨零。可变视角训练在标准 3 视角上没有收益,它的价值要在 7 视角的 Core B 场景中检验。 - 与几何基线(补充分析 2):仍与直接重投影无法区分。 - 下一步:Core B 第二轮(V9 C1 carrier,非学习基线 OFF),随后 V11(加宽 carrier + 保留测量,EVAL-V3 评价)。 2026-09-29:三项探索性诊断(不训练新模型,或只用 TRAIN;不产生新的 DEV 评价)。 - [bounds 截断](outputs/EXP-3D-RGB-PRIOR-BOUNDS-DIAG/README.md):V2–V6 的 RGB-only 实验所用的冻结先验(3 个场景拟合,far 5.67 m)把 TRAIN72 上 29.7% 的 query 表面留在盒外;TRAIN72 q99 先验只截掉 2.2%。 - [RGB-only 先验试验](outputs/EXP-3D-RGB-PRIOR-BOUNDS-V10/audit/exploratory_pilot_train_only/README.md):TRAIN24 训练、48 个未见 TRAIN 场景评价。放大盒子后远处表面变好,但近处被整体推远,AbsRel 从 0.568 变差到 0.732。RGB-only 的失败不是截断造成的,瓶颈在几何证据本身。 - [保留测量的收益上限](outputs/EXP-3D-RGBD-GEOMETRIC-BASELINES-V1/audit/exploratory_ceiling/README.md):被看到的区域用重投影、其余用 carrier 的理想组合只有 0.193,对重投影 0.220 的差区间跨零。学到的补全只比最近邻外推略好;补全质量才是瓶颈。 - 已就绪、待 V9 收尾后冻结:[Core B 第二轮](outputs/EXP-3D-RGBD-DYNAMIC-WRITE-V2/PROTOCOL.md)(carrier 按 V9 出结果前写定的计划选择)与 [V10](outputs/EXP-3D-RGB-PRIOR-BOUNDS-V10/PROTOCOL.md)(RGB-only 先验的正式检验,排在 Core B 第二轮之后)。 2026-09-29:[强几何基线对照](outputs/EXP-3D-RGBD-GEOMETRIC-BASELINES-V1/README.md),不训练,预注册分支 B。 - 结果:已合格的 V7 C1 与"上下文深度直接重投影 + 最近邻填洞"在整体 AbsRel 上无法区分(DEV 0.280 对 0.220,FRESH-V2 0.290 对 0.313)。它显著优于同表示的非学习融合。 - 分区域:在被看到的区域,重投影准得多;在未被看到的区域,carrier 更好。 - 结论:逆向 JEPA 学到的状态有价值,但目前还没有超过简单几何;瓶颈是观测区域的表示精度。 2026-09-29:[Core B 第一轮](docs/experiments/EXP-3D-RGBD-DYNAMIC-WRITE-V1/README.md)(冻结的合格 carrier + 学习写入),全程 CPU,预注册分支 B。 - 结果:写入相对"只缓存新帧"好 +0.061(CI >0),但没有优于静态状态,没有优于非学习的视角计数截断,也不是场景专属。 - 结论:写入只是在修补视角计数偏移;Core B 的核心主张尚未得到支持。 - 下一步:V9(训练时视角数可变,32³),然后做 Core B 第二轮。 2026-09-29:[分辨率 V8](docs/experiments/EXP-3D-RGBD-RESOLUTION-V8/README.md),全程 CPU,预注册分支 B。 - 结果:DEV AbsRel 16³ 0.280 → 32³ 0.259(24³ 为 0.244),RESOLUTION_GAIN +0.021,CI 跨零。 - 选择偏差:不做 checkpoint 选择时,32³ 比 16³ 好 0.061,因为 16³ 后期过拟合。 - 下一步:先运行 Core B 第一轮(冻结的 V7 C1 上的学习写入),再运行 V9(训练视角数,32³)。 2026-09-29:[第二次独立资格验证](docs/experiments/EXP-3D-RGBD-FRESH-QUALIFICATION-V2/README.md),结果 **`QUALIFIED`**。 - 在 17 个独立场景上,V7 的 RGB-D carrier 通过全部四个冻结 gate: - BOUNDS_GAIN +0.145(CI [+0.046, +0.240]); - 相对常数 +0.300(CI [+0.192, +0.396]); - 场景专属性; - 多视角融合。 - C1 AbsRel 0.290,与 DEV 的 0.280 一致。 - Core A 静态 carrier 在 RGB-D 轨道上通过资格验证;按项目规则,Core B 下一阶段可以开启。受保护的 final holdout 仍未打开。 - 进行中:V8(32³ 分辨率),全程 CPU。其设计在 V7 出结果之前写定,冻结于资格验证出结果之前。 2026-09-29:[bounds 规则 V7](docs/experiments/EXP-3D-RGBD-DEPTH-BOUNDS-V7/README.md),全程 CPU,预注册分支 **A**。 - 结果:改用测得上下文深度确定 bounds 后,DEV AbsRel 从 0.459 降到 0.280(BOUNDS_GAIN +0.179,CI [+0.084, +0.279])。 - 与常数相比:C1 首次在全部 8 个 DEV 场景上显著优于 TRAIN 拟合的常数深度,平均好 +0.227,CI [+0.113, +0.342]。 - 机制:场景专属性与多视角融合同时成立。 - 注意:C1 的 DEV checkpoint 选择有约 0.05 的乐观偏差(最后一步为 0.330)。 - 修订 1:删去冻结估计器中一条与本实验设计不相容的断言(各变体的命中比例必须相同),写于查看任何指标之前。 - 下一步:在新准备的 FRESH-V2(17 个独立场景)上做一次资格验证;Core B 仍关闭。 2026-09-29:[训练规模 V6](docs/experiments/EXP-3D-RGBD-TRAIN-SCALE-V6/README.md),全程 CPU。 - 结果:训练场景 24→72,DEV AbsRel 0.492→0.459,至今最好;SCALE_GAIN +0.033,CI 跨零,分支 C。 - 与常数相比:排除 NO_HIT 场景后,C1 比常数好 +0.111(CI [+0.011, +0.222]),但只有 5/7 个场景不差于常数,未达冻结规则。 - 剩余差距:主要来自 bounds(NO_HIT 与截断)。下一步 V7 单因素检验由测得深度确定的 bounds(72 个场景,CPU)。 2026-09-29:[第一次独立资格验证](docs/experiments/EXP-3D-RGBD-FRESH-QUALIFICATION-V1/README.md),结果 `NOT_QUALIFIED`。 - 深度收益:V5 在 5 个独立场景上的深度收益为 +0.006,CI [−0.112, +0.116],没有复现 DEV 上的 +0.114。 - 机制:场景专属性(+0.131 / +0.197)与多视角融合(+0.200)都复现。 - 结论:机制站得住,精度优势站不住;DEV 选择偏差使收益偏乐观。Core A 未通过资格验证,Core B 保持关闭。 - 数据:补充了 5 个独立场景和 48 个训练场景;受保护的 final holdout 未打开。 2026-09-29:[RGB-D 证据 carrier V5](docs/experiments/EXP-3D-RGBD-EVIDENCE-CARRIER-V5/README.md)。 - 上下文深度经零初始化旁路进入状态后,DEV query AbsRel 从 0.617 降到 0.503(DEPTH_GAIN +0.114,CI [+0.065, +0.166],三个 seed 一致)。 - 首次同时通过三项冻结 gate:深度收益;场景专属性(wrong-scene 损伤 +0.169、shuffle +0.216,CI 均 >0);多视角优于单视角(+0.152)。 - 但 C1 仍未显著优于只由 TRAIN 拟合的常数深度:排除 NO_HIT 场景后 0.432 vs 约 0.493,CI 下界 −0.0035。冻结规则与修订 1 规则下,预注册分支都是 B。 - 下一步:按分支 B 检验 carrier 容量或训练规模。TRAIN-only 诊断显示,由上下文深度导出的 bounds 可把截断从 26% 降到 3.4%,但体素变粗,宜与分辨率一起考虑。训练规模与独立资格队列都需要新数据,等待用户决定。 2026-09-29:[无几何参考再分析](docs/experiments/EXP-3D-READOUT-REFERENCE-REANALYSIS-V1/README.md) 与 [plane-sweep carrier V4](docs/experiments/EXP-3D-PLANE-SWEEP-CARRIER-V4/README.md)。 - V4:光度 plane-sweep 旁路未建立全图收益(+0.0072,CI [−0.004, +0.017],分支 C),只在多视角可观测区域有描述性改善(OBS2PLUS +0.040)。 - 再分析(预注册):V2–V4 的 9 个 RGB-only carrier 在 DEV 上无一优于 TRAIN 拟合的常数深度。常数 AbsRel≈0.507,carrier 为 0.61–0.65;给定 GT 尺度后,形状也不如平面常数。 - 判断:RGB-only 轨道已到信息上限,与 direct-state 的 RGB-only 上限 0.617 一致。 2026-09-29:[稠密证据carrier V3](docs/experiments/EXP-3D-DENSE-EVIDENCE-CARRIER-V3/README.md)。加密证据候选(128→4096)未建立DEV收益(+0.0101,CI [−0.014, +0.039]),状态场景专属性仍未建立;训练集拟合大幅改善(0.490→0.339)而DEV停滞,表现为过拟合。候选稀疏不是主因,下一轮按预注册分支C研究几何推理式融合(多视角光度一致性等),并考虑训练规模。 2026-09-29:[16³ geometry-aware learned carrier V2](docs/experiments/EXP-3D-GEOMETRY-AWARE-CARRIER-V2/README.md)。表面监督在learned carrier上未建立收益(C0−C1 +0.0195,CI [−0.025, +0.077]);状态近似场景无关(wrong-scene/空间打乱无损伤),full context未胜anchor;`STATIC_DEV_STATUS=NOT_ESTABLISHED`,`DYNAMIC_TTT_NEXT_STAGE_ALLOWED=false`。direct-state归因链:16³有益(0.461→0.403);更多优化与bounds无稳定差异;query-oracle 0.148 vs context-only 0.361;surface监督降低0.049(CI [0.024, 0.076])。下一步检验carrier证据通路(128个候选点在16³只覆盖约3%体素)。本机0–7号CPU核会引发numpy原生段错误,所有计算须绑定8–23号核。 2026-09-27 后续探索:[折外全局轨迹与 cycle 诊断](docs/experiments/EXP-2D-followup-20260927/README.md)。12个discovery外层折都选择ALL/B;CycleGate仍低约0.209个百分点。仅属事后discovery分析,独立确认仍受阻。 V2 当前状态:`BLOCKED_NO_INDEPENDENT_DATA`。旧 raw 真正逐样本空间约 +0.2055 个百分点;CycleGate discovery 外层 OOF 约 +0.1244 个百分点,但尚无独立测试结果。完整测试重试通过(500 passed、1 skipped),首轮原生崩溃已留档。[V2 报告](docs/experiments/EXP-2D-opportunity-selector-v2-20260926T015728+0800/README.md)。 最新机制实验已完成:448像素J下有小幅、跨序列的oracle机会(H1=STRONG),但部署可见选择器净收益未建立(H2=NOT_ESTABLISHED)。详见 [新实验报告](docs/experiments/EXP-2D-20260926-opportunity-selector-v1/README.md)。以下保留历史证据状态。 | ID | 状态 | 证据等级 | 已验证 | 当前可以说什么 | 当前不能说什么 | |---|---|---|---|---|---| | `BASELINE-V5-4500` | `FROZEN_REFERENCE` | `DEVELOPMENT` | V5 typed appearance 与旧工程记录保留 | 不能当 validation/test 或 CVPR 结果 | | `EXP-3D-20260919-engineering` | `COMPLETE_ENGINEERING` | `ENGINEERING` | runner、CPU contract、CUDA smoke 和保存恢复检查 | 不能当三维方法胜出证据 | | `EXP-3D-20260920-method-dev` | `COMPLETE_DEVELOPMENT` | `DEVELOPMENT` | carrier/policy 开发记录和失败修复被保留 | 不能当最终方法或外部 benchmark | | `EXP-2D-20260921-original` | `SUPERSEDED` | `ENGINEERING` | 原始运行保留;已记录 pair 汇总 bug | 不能引用旧汇总数字 | | `EXP-2D-20260921-corrected` | `EXPLORATORY` | `EXPLORATORY` | 2424 raw rows、32 validation pairs、10 focused tests、completion verification | 不能叫完整逆向 JEPA、streaming TTT 或 DAVIS J&F | | `EXP-GEOMETRY-CERT-V1` | `STOPPED` | `DIAGNOSTIC` | certificate frontend 失败门槛已封存 | 不能继续把该 frontend 接入主模型 | | `EXP-MAPANYTHING-V1` | `STOPPED` | `DIAGNOSTIC` | supplier qualification 失败记录保留 | 不能当外部监督或方法贡献 | | `OFFICIAL-DAVIS-VAL` | `SEALED` | `UNRUN` | 30 段官方 val 未读取 | 不能暗示已经完成官方 benchmark | | `DL3DV/Hypersim final holdout` | `SEALED` | `UNRUN` | 旧本地数据已按授权清理,结果和来源清单保留 | 不能声称有 final holdout 结果 | ## 当前研究判断 二维 probe 显示观测 RGB 反馈可以显著降低 RGB 重建误差,但当前 selector 没有把它转化成对象对应收益。下一步应先测试更可靠的高分辨率对应评价和允许 `OFF` 的 task-grounded gate,再决定是否扩大模型。不要直接扩大 RGB 重建训练规模。 ## 存储和协作边界 旧三维数据删除记录和二维资产下载记录仍在 `outputs/` 本地。公开仓库只提交小型 provenance 和结果 bundle;数据、权重、缓存和 checkpoint 按 `.gitignore` 排除。项目记忆的持久状态写入中央 CV 分支,不以仓库文件替代。 ## 2026-09-27 三维小规模工程训练 已完成3个train场景上的100步静态+30步写入训练,生成新的 `mcss.dynamic.v1` 权重。严格重载与写入重放通过;全套测试561 passed、1 skipped。一个场景因固定体积缺乏多视图候选支持而全部写入梯度为零,保留负例;当前仅工程可用,未取得独立静态/泛化资格。 详见 [训练报告](docs/experiments/EXP-3D-20260927-small-training-v1/README.md) 和 [权重索引](docs/experiments/EXP-3D-20260927-small-training-v1/checkpoint_index.json)。 ## EXP-3D-20260927-centered-support-v1 第三场景零写入支持已通过统一锚点中心体积修复:支持点 0→4,B 阶段非零 writer 梯度 0/10→10/10。100+30 步同种子重训、checkpoint 审计和 573 passed/1 skipped 全套测试通过;最终 TRAIN OFF 场景均值 AbsRel 0.919→1.229,未获得质量提升。旧实验和权重保留,新模式显式 opt-in,不构成独立泛化或写入收益证据。 [报告与复现](docs/experiments/EXP-3D-20260927-centered-support-v1/README.md)。 ## EXP-3D-20260927-centered-training-1000a-600b-v1 2026-09-27 已完成 [1000A+600B 三维训练](docs/experiments/EXP-3D-20260927-centered-training-1000a-600b-v1/README.md):耗时112秒,TRAIN OFF AbsRel 为 A结束0.287、B结束0.332(短程1.229);B相对A回退,未验证写入收益或泛化。 两阶段权重均保留,三个场景各200/200步非零writer梯度,15项回归测试及独立审计通过。 ## EXP-3D-20260927-trained-state-history-v1 2026-09-27 [已训练权重机制补测](docs/experiments/EXP-3D-20260927-trained-state-history-v1/README.md):同训练场景留出帧上,写入oracle AbsRel收益约0.000756,但有益历史动作翻转0/3、history额外空间0;静态context A AbsRel2.214,资格仍未建立。原训练query的1次翻转单列,不当独立证据。 581 passed、1 skipped;90条static和144条dynamic raw完整,R-Residual缺已训练head,自然历史及P0/P1/P2按原资格门槛跳过。 --- Source file: EXPERIMENTS.md Raw URL: https://raw.githubusercontent.com/KennyMcSimpson/measurement-scene-state/main/EXPERIMENTS.md # 实验注册表 ## EXP-3D-READOUT-METHOD-V1(2026-10-15,hit GPU 4 + CPU,可靠几何读出:V2 必要性、TTT 必要性与新机制的前提检验) - [README](docs/experiments/EXP-3D-READOUT-METHOD-V1/README.md)、[协议](docs/experiments/EXP-3D-READOUT-METHOD-V1/PROTOCOL.md)。2026-10-15 00:46:10 锁定;三个事后修正案各自在运行前锁定,只作探索性证据。 - **设计:** 四个留一队列折(SYSTEM3、VAL、CAJU、SYSTEM4,合计 350 个场所,都是开发数据)。 - Phase 1:Core B、64 箱表、5 种只用训练集拟合的简单标定、逐像素 MLP 与 V2 配方。 - Phase 2:只用几何、加前馈渲染、加 TTT 渲染三个同读出系统,另做交换检验与分阶段计时。 - **结果:** - Gate A:`V2_METHOD_NECESSITY = NOT_ESTABLISHED`。B5 − B7 = +0.0092 [+0.0029, +0.0147],但 SYSTEM4 的未覆盖像素上 B5 更好。Core B → V2 的 0.036 中,零命中常数占 31%,简单标定占 36%,V2 特有的占 25%。 - Gate B:`TTT_ADDED_VALUE = NOT_ESTABLISHED`(+0.0010 [−0.0026, +0.0038])。修正案 1 在 KF 表 + V2 结构中为 +0.0064 [+0.0036, +0.0094],SUPPORTED(探索性),几乎全在已覆盖像素;TTT 占每场景 16.6 s 中的 97.8%。 - 修正案 2、3:候选 B 的神谕上界 +0.0008,候选 A 的自由空间下界 +0.0003,都是 NOT_SUPPORTED。`CVPR_METHOD_NOVELTY = INSUFFICIENT`。 - **状态:** 结束;结论 No-Go。决策报告见 Claude Docs 文档《可靠几何读出研究决策报告》。 ## EXP-3D-CAJU3D-READOUT-LOCO-V1(2026-10-14,hit GPU 4,学到的读出的留一队列稳健性分析) - [README](docs/experiments/EXP-3D-CAJU3D-READOUT-LOCO-V1/README.md)、[协议](docs/experiments/EXP-3D-CAJU3D-READOUT-LOCO-V1/PROTOCOL.md)。2026-10-14 23:31:35 锁定;描述性分析,结果一律报告。 - **设计:** 四个留出折(CONF_SYSTEM3、CONF_VAL、CAJU、ARKIT_SYSTEM4),每折按 FUSE_V2 的配方用其余全部队列训练 3 个种子;FIT 两个队列只作训练。 - **结果:** - 合计 350 个场所:0.1395 → 0.1033,+0.0362 [+0.0230, +0.0524],278/0/72,SUPPORTED。 - 各折中,SYSTEM3、VAL、CAJU 为 SUPPORTED,SYSTEM4 为 PARTIAL(头部占比 0.52)。 - **状态:** 结束。 ## EXP-3D-CAJU3D-SYSTEM4-HOLDOUT-V1(2026-10-14,hit GPU 4 + CPU,全新保留队列上的读出检验) - [README](docs/experiments/EXP-3D-CAJU3D-SYSTEM4-HOLDOUT-V1/README.md)、[协议](docs/experiments/EXP-3D-CAJU3D-SYSTEM4-HOLDOUT-V1/PROTOCOL.md)。 - 计划于 2026-10-14 22:39:36 锁定(sha256 `65dbce23…`),早于任何 SYSTEM4 数据准备; - V2 代码于 22:43:21 锁定;评估代码于 22:45:40 锁定。 - **数据:** ARKIT_SYSTEM4(52 个场所、104 个片段、208 个查询),按 FULL-SYSTEM-V3 的流程跑 Core B。 - **读出:** - CORE_B; - KF_BASE(冻结表); - FUSE_V1(FUSENET-V1 冻结的 BASE 网络); - FUSE_V2:已覆盖像素用 KF 表,只学未覆盖修正,主干膨胀率到 16,训练数据为除 SYSTEM4 外的 458 个场所,3 个种子。 - **结果:** - P1 = CORE_B − FUSE_V2:+0.0539 [+0.0186, +0.1151],47/0/5,PARTIAL(头部占比 0.52)。 - P2 = CORE_B − FUSE_V1:+0.0502 [+0.0157, +0.1110],46/0/6,PARTIAL(头部占比 0.56)。 - CORE_B − KF_BASE:+0.0035,SUPPORTED。 - 分析两次逐字节相同。 - **状态:** 结束(LEARNED_READOUT_PARTIAL)。 ## EXP-3D-RGBD-ARKIT-SYSTEM4-DATA-V1(2026-10-14,hit,ARKitScenes 第四个完整系统队列) - **来源:** `scripts/prepare_rgbd_arkit_system4_cohort.py`。EXP-3D-RGBD-ARKIT-SYSTEM3-DATA-V1 的批次(训练折种子顺序第 1000–1359 位)在第 160 个合格扫描(批内第 268 位)处停止准备。本队列按批内顺序准备其余 91 个扫描(第 269–359 位):它们已下载、相机元数据已锁定,但从未读取过任何图像或深度。 - **过程:** 用不变的基础规则和 SYSTEM3 的候选锁(其源文件哈希已核对)准备全部 91 个,52 个合格、39 个不合格。不下载数据,不运行模型,不计算分数。计划在 EXP-3D-CAJU3D-SYSTEM4-HOLDOUT-V1 中先行锁定。 - **许可与存放:** 只用于非商业研究,媒体在 `zonghan_o_mirror/_data_arkitscenes`,不进 git。 ## EXP-3D-CAJU3D-FUSENET-REPL-V1(2026-10-14,hit CPU,冻结的学习式读出的复现) - [README](docs/experiments/EXP-3D-CAJU3D-FUSENET-REPL-V1/README.md)、[协议](docs/experiments/EXP-3D-CAJU3D-FUSENET-REPL-V1/PROTOCOL.md)。2026-10-14 22:34:28 锁定,在任何打分之前。 - **数据:** CAJU-V1 的 58 个场所(100 步 TTT 回放与几何封存);FUSENET-V1 的三个 BASE 网络按哈希核对,不重新训练。这些场所在 H-JEPA 的训练集里,所以不评估 JEPA 臂。 - **结果:** - P = CORE_B − FUSE_BASE:+0.01973 [+0.00716, +0.03795],48/0/10,SUPPORTED(REPLICATED)。 - 未覆盖像素的 AbsRel 从 0.288 降到 0.228。 - 分析两次逐字节相同。 - **状态:** 结束。 ## EXP-3D-CAJU3D-FUSENET-V1(2026-10-14,hit GPU 4 + CPU,CAJU-3D 第四步:学到的按像素读出) - [README](docs/experiments/EXP-3D-CAJU3D-FUSENET-V1/README.md)、[协议](docs/experiments/EXP-3D-CAJU3D-FUSENET-V1/PROTOCOL.md)。2026-10-14 22:20:46 锁定,sha256 `fda3cf90…`。 - **数据:** 与 KFUSE-V1 相同。SYSTEM + SYSTEM2 分为 128 个训练场所和 32 个验证场所;确认集为 SYSTEM3(160)和 VAL(80)。 - **模型:** FuseNet 为 5 层膨胀卷积,已覆盖像素输出卡尔曼式权重,未覆盖像素输出 R7 的有界修正。BASE 只用 8 通道基础图像,JEPA 另加 H-JEPA 查询格的 ẑ、log P 和命中。每个臂 3 个种子,30 个 epoch,按验证集选 epoch。 - **结果:** - P1 = FUSE_BASE − FUSE_JEPA:SYSTEM3 −0.00098(80/0/80),VAL +0.00186(34/0/46),都不成立。 - CORE_B − FUSE_BASE:SYSTEM3 +0.0426(PARTIAL),VAL +0.0176(SUPPORTED)。 - 未覆盖修正贡献了几乎全部收益。 - 8 个测试通过;分析两次逐字节相同。 - **状态:** 结束(JEPA_FUSION_NOT_ESTABLISHED)。 ## EXP-3D-CAJU3D-KFUSE-REPL-V1(2026-10-14,hit CPU,冻结的卡尔曼式读出融合的复现) - [README](docs/experiments/EXP-3D-CAJU3D-KFUSE-REPL-V1/README.md)、[协议](docs/experiments/EXP-3D-CAJU3D-KFUSE-REPL-V1/PROTOCOL.md)。2026-10-14 22:12:05 锁定,在任何打分之前。 - **数据:** CAJU-V1 的 CAJU_PILOT、CAJU_SEL、CAJU_EVAL(58 个场所、232 个查询),使用其 100 步 TTT 回放与几何封存;KFUSE-V1 的融合表(`15100550…`)不变。这些场所在 H-JEPA 的训练集里,所以不评估 JEPA 臂。 - **结果:** - P = CORE_B − KF_BASE:+0.00272 [+0.00145, +0.00417],47/0/11,SUPPORTED(REPLICATED)。 - GEO_U − KF_BASE:+0.00046,40/0/18,PARTIAL。 - 分析两次逐字节相同。 - **状态:** 结束。 ## EXP-3D-CAJU3D-KFUSE-V1(2026-10-14,hit GPU 4 + CPU,CAJU-3D 第三步:卡尔曼式读出融合) - [README](docs/experiments/EXP-3D-CAJU3D-KFUSE-V1/README.md)、[协议](docs/experiments/EXP-3D-CAJU3D-KFUSE-V1/PROTOCOL.md)。2026-10-14 21:56:35 锁定,sha256 `b9e08b44…`。设计前在第一、二步的开发集上做过探索(`exploration/`)。 - **数据:** 拟合集为 ARKIT_SYSTEM + ARKIT_SYSTEM2 的全部片段(160 个场所);确认集为 SYSTEM3(160 个场所,P1)和 VAL(80 个场所,P2)。四个队列互不重叠,也不与 H-JEPA 训练数据重叠。复用 Core B 的 TTT 封存和几何封存;H-JEPA 特征只用到达帧和查询相机。 - **臂:** CORE_B、GEO_U(统一权重)、KF_DIS、KF_BASE(分歧 × α × near7)、KF_JEPA(分歧 × JEPA log P × near7)、KF_FULL。每箱一个权重,在拟合集上按场所加权 AbsRel 选出后冻结(`15100550…`)。 - **结果:** - P1 = KF_BASE − KF_JEPA:SYSTEM3 −0.00005 [−0.00013, +0.00003],61/0/99;P2(VAL)−0.00007,33/0/47。都不成立。 - Core B − KF_BASE:SYSTEM3 +0.00308(SUPPORTED),VAL +0.00267(SUPPORTED)。 - GEO_U − KF_BASE:+0.00055 / +0.00066(PARTIAL)。 - 8 个测试通过;分析两次逐字节相同。 - **状态:** 结束(JEPA_KALMAN_NOT_ESTABLISHED)。 ## EXP-3D-CAJU3D-JEPAGATE-V1(2026-10-14,hit GPU 4 + CPU,CAJU-3D 第二步:JEPA 潜空间创新能否挑出更值得排除的测量) - [README](docs/experiments/EXP-3D-CAJU3D-JEPAGATE-V1/README.md)、[协议](docs/experiments/EXP-3D-CAJU3D-JEPAGATE-V1/PROTOCOL.md)。2026-10-14 20:37:12 锁定,sha256 `82d86a50…`。H-JEPA 在锁定前训练并冻结。 - **H-JEPA:** 源视角潜特征按测量深度几何对齐到目标视角(z-buffer),预测 ẑ 与 log P,用高斯 NLL 训练。数据为 ARKit TRAIN 182 个场所,3 万步;监控集上 log 误差与 log P 的相关为 0.78。 - **臂:** 在 Core B 的 TTT 深度项中剔除每个片段 10% 的有效测量像素,挑法为 JEPA(留一归一化潜空间创新)、DEPTH(跨视角深度不一致)、INC(入射角/跳变)、RANDOM。开发集与第一步相同(24 个场所、48 个片段)。 - **GO 规则:** GATE_JEPA 的开发集均值同时低于 CORE_B 和 GATE_DEPTH。 - **结果:** - Core B 0.09902,RANDOM 0.09904,DEPTH 0.09910,INC 0.09925,JEPA 0.09929,所以停止。 - JEPA 对 Core B:−0.00027 [−0.00040, −0.00016],3/0/21。 - 排练中 NONE 与封存的 Core B 一致;13 个测试通过;剔除集合的复现差值为 0。 - **状态:** 结束(STOP_AT_DEV),确认队列没有读取。 ## EXP-3D-CAJU3D-ENGINE-V1(2026-10-14,hit GPU 4 + CPU,CAJU-3D 第一步:不含学习模块的 TTT 引擎) - [README](docs/experiments/EXP-3D-CAJU3D-ENGINE-V1/README.md)、[协议](docs/experiments/EXP-3D-CAJU3D-ENGINE-V1/PROTOCOL.md)。2026-10-14 18:09:32 锁定,sha256 `e92c77ea…`。 - **数据:** 开发集从 ARKIT_SYSTEM 和 ARKIT_SYSTEM2 各按种子选 12 个扫描,共 24 个场所、48 个片段。确认队列 CONF_SYSTEM3(160 个场所)和 CONF_VAL(80 个场所)没有使用。 - **臂:** 两个底座 ZS(发布版权重)和 JN1,各配 RAW / NORM / NORM_DEC / NORM_DEC_INC,都从同一个 CACHE 出发跑 100 步,用 Core B 读出。复用已封存的 Core B、CACHE 和 R7。 - **结果:** - 最佳候选 ZS_NORM 对 Core B:−0.0011 [−0.0021, −0.0003],7/0/17,所以停止。 - JN1_NORM 对 JN1_RAW:+0.0016 [−0.0013, +0.0061],10/0/14。 - 新算的 CACHE 与封存逐位一致(96 个查询);10 个测试通过。 - **状态:** 结束(STOP_AT_DEV)。 ## EXP-3D-CAJU-HEADROOM-V1(2026-10-14,hit GPU 4 + CPU,CAJU-V1 Gate 0:Core B 更新动作的反事实 headroom) - [README](docs/experiments/EXP-3D-CAJU-HEADROOM-V1/README.md)、[协议](docs/experiments/EXP-3D-CAJU-HEADROOM-V1/PROTOCOL.md)。2026-10-14 01:07:17 锁定,sha256 `f82179bf…`。修订 1(01:31:37,正式回放之前)只改了引擎检查的放行依据:用分布比较代替单像素最大差。引擎和判定都没变。 - **数据:** ARKit 训练折中从未跑过 Core B 的场所。SEL 16 个场所用来选固定动作,EVAL 34 个场所用来测 headroom,DEV 8 个场所做工程试点,其余 132 个场所不动。 - **动作:** 都从同一个 CACHE 状态出发:OFF、SHORT(同一条 TTT 轨迹的第 10 步)、FULL(第 100 步)。三者都用冻结的 Core B 读出。 - **主检验:** 在 EVAL 场所上,交叉查询 oracle 减最佳固定动作。要求均值 ≥ 0.001、CI 下界 > 0、LOSO 全部 > 0、top-1 ≤ 0.5。 - **结果:** - 固定动作为 FULL。EVAL 的 AbsRel:OFF 0.1112,SHORT 0.1103,FULL 0.1082。 - 主检验 +0.00076 [+0.00005, +0.00191],9/20/5,top-1 0.57:NOT_ESTABLISHED。 - 事后逐片段 oracle +0.00123;交叉角色 +0.00115;最省充分策略省 33%,低于 50%。 - 测试 17 个通过;分析两次逐字节相同;完整性 PASS_WITH_AMENDMENT_1。 - **状态:** 结束(`NO_USEFUL_DYNAMIC_ACTION_SPACE`,`GATE1_ALLOWED=false`)。 ## EXP-3D-RGBD-DEPTHSPLAT-JEPA-OVERLAP-SCALE-ARKIT-V1(2026-10-10,hit GPU + CPU,更多真实训练数据能否改进逆向 JEPA 的补全) - [协议](docs/experiments/EXP-3D-RGBD-DEPTHSPLAT-JEPA-OVERLAP-SCALE-ARKIT-V1/PROTOCOL.md)。2026-10-10 01:58:03 锁定,sha256 `35f85731…`;设计受 NS 结果启发,锁定早于本实验的任何训练与评估。 - **训练:** 只改一个因素,JO 配方(重叠感知、上限 3.0)的训练数据从 182 个扫描增加到 502 个(与 NS 相同);JOL1–JOL3。 - **评估:** ARKIT160_OVERLAP 的 VAL80 部分(第 6、7 帧),CTX 臂;复用 OVERLAP-V1 的 arms 与 JO 封存。 - **主检验(FARH):** P1 = JO − JOL(更多数据是否改进补全);P2 = H3 − JOL。 - **结果:** - P1 = JO − JOL(FARH,VAL80):−0.0044,42/0/33,NOT_ESTABLISHED。 - P2 = H3 − JOL:+0.1125,42/0/33,PARTIAL。 - S2(对比 G1N)n.s.;复现差值 0;分析两次逐字节相同。 - [README](docs/experiments/EXP-3D-RGBD-DEPTHSPLAT-JEPA-OVERLAP-SCALE-ARKIT-V1/README.md)。 - **状态:** 结束。 ## EXP-3D-RGBD-COREB-WEIGHT-ARKIT-V1(2026-10-10,hit CPU,Core B 中 TTT 与 R7 的集成权重) - [README](docs/experiments/EXP-3D-RGBD-COREB-WEIGHT-ARKIT-V1/README.md)、[协议](docs/experiments/EXP-3D-RGBD-COREB-WEIGHT-ARKIT-V1/PROTOCOL.md)。2026-10-10 01:51:05 锁定,sha256 `178a022a…`;权重选择只读开发集真值,记录哈希后才读确认集。 - **方法:** GEO_w = R7^(1−w) × ZS_TTT_F7^w,w ∈ {0.5, …, 1.0},在 ARKIT_SYSTEM + ARKIT_SYSTEM2 上选择,在 ARKIT_SYSTEM3 与 ARKIT_VAL 上确认;不运行模型。 - **结果:** - w* = 0.9。 - P1 = CORE_B − GEO_0.9(SYSTEM3):+0.0025,106/0/54,PARTIAL。 - P2(VAL):+0.0019,52/0/28,PARTIAL。 - 对 R7:GEO_0.9 130/0/30,TTT 单独 126/0/34。 - 分析两次逐字节相同。 - **状态:** 结束。 ## EXP-3D-RGBD-COREB-JEPA-ABSTAIN-ARKIT-V1(2026-10-10,hit GPU + CPU,用逆向 JEPA 学到的有选择弃权改进 Core B) - [README](docs/experiments/EXP-3D-RGBD-COREB-JEPA-ABSTAIN-ARKIT-V1/README.md)、[协议](docs/experiments/EXP-3D-RGBD-COREB-JEPA-ABSTAIN-ARKIT-V1/PROTOCOL.md)。2026-10-10 01:37:36 锁定,sha256 `091f0b96…`;候选选择只读开发集真值,01:40:08 记录哈希后才读确认集。 - **方法:** 三种候选(MASK、TRIPLE、PAIR),只组合已有状态。在 ARKIT_SYSTEM + ARKIT_SYSTEM2 上选择(JN1 的前馈由本实验评估),在 ARKIT_SYSTEM3 与 ARKIT_VAL 上确认。 - **结果:** - 选出 PAIR。 - P1 = CORE_B − PAIR(SYSTEM3):+0.0029,102/0/58,PARTIAL。 - P2(VAL):+0.0019,55/0/25,PARTIAL。 - S6(对比 TTT 单独):+0.0004,76/0/84,n.s.。 - 复现差值 0;分析两次逐字节相同。 - **状态:** 结束。 ## EXP-3D-RGBD-DEPTHSPLAT-ALPHA-THRESHOLD-ARKIT-V1(2026-10-10,hit CPU,只调高读出阈值能否得到逆向 JEPA 的前馈改进) - [README](docs/experiments/EXP-3D-RGBD-DEPTHSPLAT-ALPHA-THRESHOLD-ARKIT-V1/README.md)、[协议](docs/experiments/EXP-3D-RGBD-DEPTHSPLAT-ALPHA-THRESHOLD-ARKIT-V1/PROTOCOL.md)。2026-10-10 01:28:14 锁定,sha256 `644bad0d…`;阈值选择只读开发集真值,01:28:28 记录哈希后才读确认集。 - **方法:** 不运行模型,复用已有封存。阈值网格 0.5–0.99,在开发集(ARKIT_SYSTEM + ARKIT_SYSTEM2)上分别为前馈与 Core B 选最优阈值,在 ARKIT_SYSTEM3 与 ARKIT_VAL 上确认。 - **结果:** - 开发集上读出随阈值升高单调变差,τ_C* = τ_T* = 0.5。 - P1 = ZS_CACHE(τ_C*) − JNS_CACHE(SYSTEM3):+0.0041,110/0/50,PARTIAL;VAL 上 +0.0041,61/0/19,SUPPORTED。 - P2(Core B 换阈值):τ_T* = 0.5,NOT_ESTABLISHED。 - 分析两次逐字节相同。 - **状态:** 结束。 ## EXP-3D-RGBD-DEPTHSPLAT-JEPA-NORM-SCALE-ARKIT-V1(2026-10-09,hit GPU + CPU,更多真实训练数据能否放大逆向 JEPA 的前馈改进) - [协议](docs/experiments/EXP-3D-RGBD-DEPTHSPLAT-JEPA-NORM-SCALE-ARKIT-V1/PROTOCOL.md)。2026-10-09 23:18:31 锁定,sha256 `d9ed9d50…`;设计受 NF 结果启发,锁定早于本实验的任何训练与评估。 - **训练:** 只改一个因素,训练数据从 182 个扫描增加到 502 个(加入实验已结束的 CONFIRM、SELECT、SYSTEM、SYSTEM2 四个队列,无需新下载);JL1–JL3,其余设置与 JN 相同。 - **评估:** ARKIT_SYSTEM3 与 ARKIT_VAL,只跑 CACHE 臂;复用 V3、NF、ENSEMBLES-ARKIT、OBJECTIVE-TTT 的封存。 - **主检验(SYSTEM3):** P1 = JNS_CACHE − JLS_CACHE(更多数据是否有帮助);P2 = ZS_CACHE − JLS_CACHE。 - **结果:** - P1 = JNS_CACHE − JLS_CACHE(SYSTEM3):−0.0000,82/0/78,NOT_ESTABLISHED;VAL 上 −0.0002,44/0/36。 - P2 = ZS_CACHE − JLS_CACHE(SYSTEM3):+0.0041,111/0/49,PARTIAL;VAL 上 +0.0039,58/0/22,PARTIAL。 - S4(对比 Core B)+0.0002,51/0/109,n.s.;三个种子各自 PARTIAL。 - 12 项复现检查差值为 0;分析两次逐字节相同。 - [README](docs/experiments/EXP-3D-RGBD-DEPTHSPLAT-JEPA-NORM-SCALE-ARKIT-V1/README.md)。 - **状态:** 结束。 ## EXP-3D-RGBD-DEPTHSPLAT-JEPA-NORM-FEEDFORWARD-ARKIT-V1(2026-10-09,hit GPU + CPU,只奖励精度的逆向 JEPA 能否改进前馈状态) - [协议](docs/experiments/EXP-3D-RGBD-DEPTHSPLAT-JEPA-NORM-FEEDFORWARD-ARKIT-V1/PROTOCOL.md)。2026-10-09 19:23:38 锁定,sha256 `7ff1827a…`;设计受 OBJECTIVE-TTT 的 S3 启发,锁定时 V3 尚未读取 ARKIT_SYSTEM3 的任何真值。 - **数据:** ARKIT_SYSTEM3(V3 的队列,160 个扫描、640 个查询),复用 V3 的几何封存。 - **模型:** ZS(发布权重);JN1、JK1(OBJECTIVE-TTT 的检查点);JN2、JN3(新训练,种子 20261009、20261010)。只评估 CACHE 臂,上限 0.1。 - **主检验:** P1 = ZS_CACHE − JN1_CACHE(ALL);P2 = ZS_CACHE − JNS_CACHE(ALL,三个种子平均)。 - **结果:** - P1 = ZS_CACHE − JN1_CACHE:+0.0036,109/0/51,PARTIAL。 - P2 = ZS_CACHE − JNS_CACHE:+0.0041,110/0/50,PARTIAL。 - S4(NEAR7)+0.0046,110/0/50;S1(对 R7)+0.0058,94/0/66;S3(发布权重对 R7)+0.0022,79/0/81,n.s.;S8、S9(JN2、JN3)+0.0045、+0.0042;JK1 n.s.。 - 分析两次逐字节相同。事后探索见 `exploratory_posthoc/`(与 Core B 均值打平,Core B 在 113/160 个场景更好)。 - [README](docs/experiments/EXP-3D-RGBD-DEPTHSPLAT-JEPA-NORM-FEEDFORWARD-ARKIT-V1/README.md)。 - **状态:** 结束。 ## EXP-3D-RGBD-FULL-SYSTEM-ARKIT-V3(2026-10-09,hit CPU + GPU,Hypersim 小载体 G1 的选择性集成能否改进 Core B) - [协议](docs/experiments/EXP-3D-RGBD-FULL-SYSTEM-ARKIT-V3/PROTOCOL.md)。计划锁写于 2026-10-09 14:50:58,早于任何新数据下载;正式锁定 15:08:10,sha256 `0a33ebdf…`。 - **来源:** FULL-SYSTEM-V2 的次要分析 S5(G1 接法 +0.0042,21/43/16);同一接法在 V1 上不成立。 - **方法:** 在被选中的 episode(S ≥ 1.2)中,把 Core B 在 FAR7 的基底换成 sqrt(R7 × 7 帧 G1)。 - **数据:** 全新队列 ARKIT_SYSTEM3,160 个扫描(为提高功效,比以往多一倍);320 个 episode 中 125 个被选中。 - **主检验:** P1 = CORE_B − SYS_G1(ALL);P2 = R7 − SYS_G1(ALL)。 - **结果:** - P1 = CORE_B − SYS_G1:+0.0010,38/99/23,NOT_ESTABLISHED。 - P2 = R7 − SYS_G1:+0.0071,139/0/21,SUPPORTED。 - S1(FAR7)+0.0062,36/96/25,SUPPORTED;S2(Core B 复现)+0.0061,149/0/11,SUPPORTED;S3(TTT 增益)+0.0064,130/0/30;S5(GA 接法)+0.0003,n.s.。 - 分析两次逐字节相同。 - [README](docs/experiments/EXP-3D-RGBD-FULL-SYSTEM-ARKIT-V3/README.md)。 - **状态:** 结束。 ## EXP-3D-RGBD-DEPTHSPLAT-JEPA-OBJECTIVE-TTT-ARKIT-V1(2026-10-09,hit GPU + CPU,只奖励精度的逆向 JEPA 能否改进 TTT) - [README](docs/experiments/EXP-3D-RGBD-DEPTHSPLAT-JEPA-OBJECTIVE-TTT-ARKIT-V1/README.md)、[协议](docs/experiments/EXP-3D-RGBD-DEPTHSPLAT-JEPA-OBJECTIVE-TTT-ARKIT-V1/PROTOCOL.md)。2026-10-09 14:41:45 锁定,sha256 `a826b21c…`;设计受 JBT 与 JC 结果启发,锁定早于本实验的任何训练与评估。 - **训练:** 只奖励已覆盖像素精度的目标,各一个种子,上限 0.1。 - JN1:OVERLAP-V1 的 episode。 - JK1:上下文 + 4 个流式帧 → 第 14、15 帧。 - **评估:** ARKIT_VAL,CACHE 与 TTT;复用 ENSEMBLES-ARKIT、JBT、JC 的封存,复现差值为 0。 - **结果:** - P1 = ZS_TTT − JN_TTT:−0.0008,30/0/50,NOT_ESTABLISHED。 - P2 = ZS_TTT − JK_TTT:−0.0038,24/0/56,HARMFUL。 - S3 = ZS_CACHE − JN_CACHE:+0.0036,60/0/20,SUPPORTED(次要)。 - 前馈覆盖率从 0.73 降到 0.55(JN)和 0.26(JK)。 - 分析两次逐字节相同。 - **状态:** 结束。 ## EXP-3D-RGBD-ARKIT-SYSTEM3-DATA-V1(2026-10-09,hit,ARKitScenes 第三个完整系统队列) - **来源:** `scripts/prepare_rgbd_arkit_system3_cohort.py`,训练折种子顺序第 1000–1359 位场馆(360 个)。与此前所有队列以及 VAL 都不相交。 - **过程:** 360 个扫描全部下载(33.8 GB)并锁定相机元数据(1 个失败),按顺序准备到 160 个合格(109 个不合格);不运行模型,不计算分数。 - **许可与存放:** 只用于非商业研究,媒体在 `zonghan_o_mirror/_data_arkitscenes`,不进 git。 ## EXP-3D-RGBD-FULL-SYSTEM-ARKIT-V2(2026-10-09,hit CPU + GPU,TTT 集成加上 7 帧小载体的选择性集成) - [README](docs/experiments/EXP-3D-RGBD-FULL-SYSTEM-ARKIT-V2/README.md)、[协议](docs/experiments/EXP-3D-RGBD-FULL-SYSTEM-ARKIT-V2/PROTOCOL.md)。计划锁写于 2026-10-09 13:08:03,早于任何新数据下载;正式锁定 13:16:03,sha256 `b36f2657…`。 - **来源:** FULL-SYSTEM-V1 的事后探索(样本内,从 9 种变体中挑出)。 - **方法:** 在被选中的 episode(S ≥ 1.2)中,把 Core B 在 FAR7 的基底换成 sqrt(R7 × 7 帧 GA)。 - **数据:** 全新队列 ARKIT_SYSTEM2,取训练折种子顺序第 840–999 位。 - **主检验:** P1 = CORE_B − SYS(ALL);P2 = R7 − SYS(ALL)。 - **结果:** P1 = CORE_B − SYS:−0.0022,16/42/22,NOT_ESTABLISHED;P2:NOT_ESTABLISHED。S2(Core B 复现)+0.0049,70/0/10,SUPPORTED;S5(G1 接法)+0.0042,21/43/16,SUPPORTED(次要);S6(7 帧 GA 对比 R7,FAR7)HARMFUL。分析两次逐字节相同。 - **状态:** 结束。 ## EXP-3D-RGBD-FULL-SYSTEM-ARKIT-V1(2026-10-09,hit CPU + GPU,TTT 集成加上按深度范围选择的补全) - [README](docs/experiments/EXP-3D-RGBD-FULL-SYSTEM-ARKIT-V1/README.md)、[协议](docs/experiments/EXP-3D-RGBD-FULL-SYSTEM-ARKIT-V1/PROTOCOL.md)。计划锁 2026-10-09 11:28:13,写在下载任何新数据之前;正式锁定 11:35:44,sha256 `8bfe2c18…`。 - **数据:** 全新队列 ARKIT_SYSTEM,80 个扫描(见下一条)。episode 为上下文 3 帧 + 流式帧 4 帧,查询第 14、15 帧;160 个 episode 中有 69 个被选中(S ≥ 1.2)。 - **主检验:** - P1 = CORE_B − FULL(ALL):把选择后的补全接进 Core B 的 FAR7 区域,是否改进 Core B; - P2 = R7 − FULL(ALL)。 - **结果:** P1 = CORE_B − FULL:−0.0031,15/49/16,NOT_ESTABLISHED;P2 = R7 − FULL:+0.0015,NOT_ESTABLISHED。S2(Core B 复现)= R7 − CORE_B:+0.0047,71/0/9,SUPPORTED;S3(TTT 增益)+0.0071,61/0/19,SUPPORTED。分析两次逐字节相同。 - **状态:** 结束。 ## EXP-3D-RGBD-ARKIT-SYSTEM-DATA-V1(2026-10-09,hit,ARKitScenes 完整系统队列) - **来源:** `scripts/prepare_rgbd_arkit_system_cohort.py`,训练折种子顺序第 680–839 位场馆。与试点(0–359)、CONFIRM(360–519)、SELECT(520–679)以及 VAL 都不相交。 - **过程:** 160 个扫描全部下载并锁定相机元数据,按顺序准备到 80 个合格(75 个不合格);不运行模型,不计算分数。 - **许可与存放:** 只用于非商业研究,媒体在 `zonghan_o_mirror/_data_arkitscenes`,不进 git。 ## EXP-3D-RGBD-COMPLETION-SELECTOR-FAR-ARKIT-V1(2026-10-09,hit CPU + GPU,深度范围选择规则能否推广到远处视角) - [README](docs/experiments/EXP-3D-RGBD-COMPLETION-SELECTOR-FAR-ARKIT-V1/README.md)、[协议](docs/experiments/EXP-3D-RGBD-COMPLETION-SELECTOR-FAR-ARKIT-V1/PROTOCOL.md)。2026-10-09 11:10:24 锁定,sha256 `62fcff3c…`。 - **设计:** 规则和阈值不变(S ≥ 1.2)。选择器封存复制自 SELECTOR-V1(上下文相同)。查询改为同一批扫描的第 14、15 帧,这两帧此前从未被评估。 - **模型:** G1、GA(arms 封存,CPU);JO、JA(GPU,只跑 CTX)。 - **主检验:** P1 = H3 − SEL_GAN(FARH)。 - **结果:** P1 = H3 − SEL_GAN(FARH):+0.0577 [+0.0058, +0.1083],24/17/12,SUPPORTED(FAR_SELECTOR_CONSISTENT);SEL_G1N +0.0579(28/17/8)SUPPORTED;SEL_JO、SEL_JA 不成立;不选择时四种模型都不成立。分析两次逐字节相同。 - **状态:** 结束。 ## EXP-3D-RGBD-COMPLETION-SELECTOR-ARKIT-V1(2026-10-09,hit CPU + GPU,用上下文深度范围决定何时使用学到的补全) - [README](docs/experiments/EXP-3D-RGBD-COMPLETION-SELECTOR-ARKIT-V1/README.md)、[协议](docs/experiments/EXP-3D-RGBD-COMPLETION-SELECTOR-ARKIT-V1/PROTOCOL.md)。 - 计划锁于 2026-10-09 10:42:42 写定,早于任何新数据下载。 - 正式锁定于 10:51:00,sha256 `c6dc93e1…`。 - **来源:** EXP-3D-RGBD-CARRIER-ARKIT-OVERLAP-V1 的事后探索(样本内):上下文深度范围 S 预测学到的补全是否有用。 - **规则:** S ≥ 1.2 时用学到的补全,否则用调和插值。 - **数据:** 全新队列 ARKIT_SELECT(80 个扫描,见下条),查询为第 6、7 帧;160 个 episode 中有 70 个被选中。 - **主检验:** P1 = H3 − SEL_GAN(FARH)。 - **结果:** P1 = H3 − SEL_GAN(FARH):+0.1115 [+0.0600, +0.1675],32/31/9,SUPPORTED(SELECTOR_CONSISTENT)。SEL_G1N +0.1138(31/31/10)、SEL_JO +0.0731(29/31/12)也都是 SUPPORTED;不选择时三者都是 PARTIAL。修订 1(11:05:48)只修复打分代码中空 FAR 时的 NaN,修复前没有产生任何结果。分析两次逐字节相同。 - **状态:** 结束。 ## EXP-3D-RGBD-ARKIT-SELECT-DATA-V1(2026-10-09,hit,ARKitScenes 选择器确认队列) - **来源:** `scripts/prepare_rgbd_arkit_select_cohort.py`,取训练折种子顺序第 520–679 位场馆。 - 第 0–359 位留给试点训练,第 360–519 位是 CONFIRM 队列;本队列与它们和 VAL 都不相交。 - **过程:** 160 个扫描全部下载并锁定相机元数据,按顺序准备到 80 个合格(62 个不合格)。不运行模型,不计算分数。 - **许可与存放:** 只用于非商业研究,媒体在 `zonghan_o_mirror/_data_arkitscenes`,不进 git。 ## EXP-3D-RGBD-DEPTHSPLAT-JEPA-CAP01-TTT-ARKIT-V1(2026-10-09,hit GPU + CPU,在 TTT 的尺度上限下训练逆向 JEPA) - [README](docs/experiments/EXP-3D-RGBD-DEPTHSPLAT-JEPA-CAP01-TTT-ARKIT-V1/README.md)、[协议](docs/experiments/EXP-3D-RGBD-DEPTHSPLAT-JEPA-CAP01-TTT-ARKIT-V1/PROTOCOL.md)。2026-10-09 06:03:48 锁定,sha256 `1b00184e…`;设计受 JBT 与 OVERLAP-V1 结果启发,锁定早于本实验的任何训练与评估。 - **训练:** OVERLAP-V1 的配方,尺度上限 0.1(JC1,一个种子)。 - **评估:** ARKIT_VAL,CACHE 与 TTT;复用发布权重(上限 0.1)的封存以及 JBT 中 JA、ZS3 的封存,复现差值为 0。 - **结果:** P1 = ZS_TTT − JC_TTT:−0.0070,24/0/56,HARMFUL;P2 = ZS_CACHE − JC_CACHE:−0.0517,5/0/75,HARMFUL;S4 = JA_TTT − JC_TTT:+0.0375,55/0/25;集成后与发布权重打平(0.116)。分析两次逐字节相同。 - **状态:** 结束。 ## EXP-3D-RGBD-CARRIER-ARKIT-OVERLAP-V1(2026-10-09,hit CPU,用 ARKit 做重叠感知训练的旧基座补全载体) - [README](docs/experiments/EXP-3D-RGBD-CARRIER-ARKIT-OVERLAP-V1/README.md)、[协议](docs/experiments/EXP-3D-RGBD-CARRIER-ARKIT-OVERLAP-V1/PROTOCOL.md)。冻结记录见 `freeze.json`(2026-10-09 02:24:02,sha256 `2cef537d…`),早于 OVERLAP-V1 的任何结果。第一次冻结有缺陷,未训练就被替换,保留在 `first_freeze_without_cap/`。 - **训练:** 冻结的 V17 L 代码与配方,在 CPU 上训练 3 个种子、24000 步。训练集是 151 个 ARKit TRAIN 扫描,训练查询为两个角色的上下文命中比例都 ≥ 0.05 的帧(GA)。 - **评估:** ARKIT160_OVERLAP,查询为第 6、7 帧。G1(Hypersim)与 GA 在同一个 arms 封存中评估。 - **主检验:** C1 = H3 − GAN(FARH);C2 = G1N − GAN(FARH)。 - **结果:** C1 = H3 − GAN(FARH):+0.1215,79/0/68,PARTIAL;C2 = G1N − GAN:+0.0138,NOT_ESTABLISHED;S1 = H3 − HGAN:+0.0923,100/0/47。FARH:H3 0.452,GAN 0.330,G1N 0.344。分析两次逐字节相同。 - **状态:** 结束。 ## EXP-3D-RGBD-DEPTHSPLAT-JEPA-ARKIT-OVERLAP-V1(2026-10-09,hit GPU + CPU,重叠感知的真实数据逆向 JEPA) - [README](docs/experiments/EXP-3D-RGBD-DEPTHSPLAT-JEPA-ARKIT-OVERLAP-V1/README.md)、[协议](docs/experiments/EXP-3D-RGBD-DEPTHSPLAT-JEPA-ARKIT-OVERLAP-V1/PROTOCOL.md)。2026-10-09 01:19:13 锁定,sha256 `27d25dd4…`;锁定时 JEPA-ARKIT-V1 尚无任何结果。 - **训练:** JEPA-ARKIT-V1 配方,目标只取上下文命中比例 ≥ 0.05 的帧(JO1–JO3)。 - **评估:** ARKIT160_OVERLAP,查询为第 6、7 帧(从未评估或输入过);147 个场景有 FARH。 - **结果:** O1 = H3 − JO(FARH):+0.1101,80/0/67,PARTIAL(中位数 +0.005);O2 = JA − JO:−0.0047,NOT_ESTABLISHED。FARH:H3 0.452,JO 0.341,JA 0.337,G1N 0.344,J 0.407。分析两次逐字节相同。 - **状态:** 结束。 ## EXP-3D-RGBD-DEPTHSPLAT-JEPA-BASE-TTT-ARKIT-V1(2026-10-09,hit GPU + CPU,以真实数据 JEPA 为起点的 TTT) - [README](docs/experiments/EXP-3D-RGBD-DEPTHSPLAT-JEPA-BASE-TTT-ARKIT-V1/README.md)、[协议](docs/experiments/EXP-3D-RGBD-DEPTHSPLAT-JEPA-BASE-TTT-ARKIT-V1/PROTOCOL.md)。2026-10-09 01:19:01 锁定,sha256 `6441e982…`;修订 1(01:33:33,只改执行方式:为留出显存停掉一个分片后单独重跑)。 - **数据:** ARKIT_VAL(80 个扫描),episode 与 ENSEMBLES-ARKIT 相同;复用其几何封存和发布权重的 CACHE / TTT 封存(复现差值为 0)。 - **主检验:** Q1 = ZS_TTT − JA_TTT(ALL);Q2 = ZS3_TTT − JA_TTT(ALL)。JA 只用事先指定的 JA1。 - **结果:** Q1:−0.0445,15/0/65,HARMFUL;Q2:−0.0226,30/0/50,HARMFUL。S4(JA 上的 TTT 增益)+0.1070,70/0/10;S6(上限 0.1 优于 3.0)+0.0219,70/0/10。分析两次逐字节相同。 - **状态:** 结束。 ## EXP-3D-RGBD-DEPTHSPLAT-JEPA-ARKIT-V1(2026-10-08/09,hit GPU + CPU,在 ARKit 真实数据上训练逆向 JEPA) - [README](docs/experiments/EXP-3D-RGBD-DEPTHSPLAT-JEPA-ARKIT-V1/README.md)、[协议](docs/experiments/EXP-3D-RGBD-DEPTHSPLAT-JEPA-ARKIT-V1/PROTOCOL.md)。2026-10-08 23:42:00 锁定,sha256 `de61109d…`。修订 1 于 2026-10-09 00:03:50 记录,早于读取评估真值。 - **训练:** ARKit 训练折 TRAIN 182 个扫描,3 个种子,V1 配方(JA1–JA3)。 - **评估:** ARKIT160 = ARKIT_VAL80 + ARKIT_CONFIRM80。 - **结果:** - R1 = H3 − JA(FAR):+0.2101,90/14/55,PARTIAL;R2 = J − JA:+0.2307,104/13/42,PARTIAL。 - 修订 1: - X2 只换补洞常数:+0.3749,SUPPORTED; - X1 在校准基线之上加 JA:−0.0289,HARMFUL; - X6 只看有重叠的查询:+0.0269,NOT_ESTABLISHED。 - 主分析与修订分析都运行两次,结果逐字节相同。 - **状态:** 结束。 ## EXP-3D-RGBD-COMPLETION-ENSEMBLE-ARKIT-CONFIRM-V1(2026-10-08,hit CPU,归一化 G1 补全集成的真实数据确认) - [README](docs/experiments/EXP-3D-RGBD-COMPLETION-ENSEMBLE-ARKIT-CONFIRM-V1/README.md)、[协议](docs/experiments/EXP-3D-RGBD-COMPLETION-ENSEMBLE-ARKIT-CONFIRM-V1/PROTOCOL.md)。2026-10-08 13:46:12 锁定,sha256 `b5b24308…`。 - **数据:** `outputs/EXP-3D-RGBD-ARKIT-CONFIRM-DATA-V1`,80 个扫描、160 个 episode。 - **主检验:** C1 = H3 − (H3 + G1N) / 2(FAR,V2 gate)。G1N 在不透明度 ≥ 0.5 处取 深度 / 不透明度,否则用 H3。 - **结果:** C1:+0.0642,48/19/12,SUPPORTED;分析两次逐字节相同。 - **状态:** 结束。 ## EXP-3D-RGBD-ARKIT-CONFIRM-DATA-V1(2026-10-08,hit,ARKitScenes 确认队列) - **来源:** `scripts/prepare_rgbd_arkit_confirm_cohort.py`。训练折种子顺序第 360–519 位场馆;前 360 位由试点保留。 - **过程:** 160 个扫描全部下载并锁定相机元数据,按顺序处理到 80 个合格(67 个不合格);不运行模型,不计算分数。 ## EXP-3D-RGBD-ENSEMBLES-ARKIT-V1(2026-10-08,hit GPU + CPU,两个集成在 ARKitScenes 上的检验) - [README](docs/experiments/EXP-3D-RGBD-ENSEMBLES-ARKIT-V1/README.md)、[协议](docs/experiments/EXP-3D-RGBD-ENSEMBLES-ARKIT-V1/PROTOCOL.md)。2026-10-08 12:08:56 锁定,sha256 `6947f14f…`。 - 数据见 `outputs/EXP-3D-RGBD-ARKIT-VAL-DATA-V1`:80 个扫描、160 个 episode。 - **主检验(V2 gate):** - A1 = H3 − HJG(FAR);A2 = HG − HJG(FAR); - B1 = R7 − √(R7 × TTT)(ALL);B2 = √(R7 × CACHE) − √(R7 × TTT)(ALL)。 - **结果:** - A1:+0.4216,56/24,PARTIAL;A2:−0.0086,NOT_ESTABLISHED; - B1:+0.0049,71/9,SUPPORTED;B2:+0.0031,60/20,SUPPORTED; - 分析两次逐字节相同;另有事后偏差检查(`exploratory_posthoc/`)。 - **状态:** 结束。 ## EXP-3D-RGBD-ARKIT-VAL-DATA-V1(2026-10-08,hit,ARKitScenes Validation 评估队列) - **来源:** `scripts/prepare_rgbd_arkit_data.py --folds Validation`,加上 `scripts/prepare_rgbd_arkit_val_cohort.py`(按同一种子顺序扩展)。 - **过程:** - 前 70 个场馆 41 个合格;扩展部分处理到第 66 个场馆时凑满 80 个合格(27 个不合格); - 帧与规则在读取媒体之前锁定(`candidate_lock*.json`); - 不运行模型,不计算分数。 - **许可与存放:** 只用于非商业研究,媒体在 `zonghan_o_mirror/_data_arkitscenes`,不进 git。 ## EXP-3D-RGBD-TTT-ENSEMBLE-V1(2026-10-08,hit GPU + CPU,TTT 状态与无模型重投影取平均) - [README](docs/experiments/EXP-3D-RGBD-TTT-ENSEMBLE-V1/README.md)、[协议](docs/experiments/EXP-3D-RGBD-TTT-ENSEMBLE-V1/PROTOCOL.md)。2026-10-08 06:31:24 锁定,sha256 `5154f900…`。假设来源:`exploratory_source/`(FRESH78 上的探索)。 - **设置:** 发布版 DepthSplat(ZS),CACHE 与 TTT(100 步,m = 1);R7 = REPROJ7_HARMONIC;队列为 EVAL34,流帧同 Core B V8。 - **主检验(V2 gate,ALL):** - T1 = R7 − √(R7 × TTT); - T2 = √(R7 × CACHE) − √(R7 × TTT)。 - **结果:** - T1:+0.0290,71/12,SUPPORTED; - T2:+0.0185,80/3,SUPPORTED; - 分析两次逐字节相同。 - **状态:** 结束。 ## EXP-3D-RGBD-DEPTHSPLAT-TTT-ABLATION-V1(2026-10-08,hit GPU + CPU,TTT 是否依赖学到的基座) - [README](docs/experiments/EXP-3D-RGBD-DEPTHSPLAT-TTT-ABLATION-V1/README.md)、[协议](docs/experiments/EXP-3D-RGBD-DEPTHSPLAT-TTT-ABLATION-V1/PROTOCOL.md)。2026-10-08 06:25:19 锁定,sha256 `cebe6e23…`。 - **NV(无网络高斯):** 每个有效测量像素一个各向同性高斯,σ = c × 像素足迹,不透明度 0.95,颜色取像素 RGB。DEV 上选 c = 0.0625、m = 1。TTT 与 V1 的 ZS 完全相同。 - **主检验(V2 gate,ALL):** P1 = NV_TTT − ZS_TTT,P2 = NV_CACHE − ZS_CACHE。 - **结果:** - P1:+0.0237,61/17,SUPPORTED; - P2:+0.0062,47/31,NOT_ESTABLISHED; - 分支 LEARNED_BASE_MATTERS;分析两次逐字节相同。 - **状态:** 结束。 ## EXP-3D-RGBD-COMPLETION-ENSEMBLE-V1(2026-10-08,hit CPU + GPU 推理,学到的补全与调和插值取平均) - [README](docs/experiments/EXP-3D-RGBD-COMPLETION-ENSEMBLE-V1/README.md)、[协议](docs/experiments/EXP-3D-RGBD-COMPLETION-ENSEMBLE-V1/PROTOCOL.md)。2026-10-08 05:41:37 锁定,sha256 `d6248ece…`。假设来源:`exploratory_source/`(FRESH78 上的探索)。 - **读出(FAR):** - H3:调和; - G1:3 种子平均; - J:V1 的逆向 JEPA,3 个冻结检查点,至少 2 个种子覆盖处取覆盖种子的平均,其余为 H3; - 组合:JG、HG、HJ、HJG(等权平均),以及几何平均版本。 - **主检验(V2 gate):** E1 = H3 − HJG,E2 = HG − HJG(FAR)。 - **结果:** - E1:+0.1310,60/20,SUPPORTED; - E2:−0.0023,34/46,NOT_ESTABLISHED; - S1 = H3 − HG:+0.1332,65/15,SUPPORTED;S12 = H3 − HG(ALL):SUPPORTED; - 分析两次逐字节相同。 - **状态:** 结束。 ## EXP-3D-RGBD-DEPTHSPLAT-JEPA-TTT-V1(2026-10-08,hit GPU + CPU,以 DepthSplat 为基座检验逆向 JEPA 与 TTT) - [README](docs/experiments/EXP-3D-RGBD-DEPTHSPLAT-JEPA-TTT-V1/README.md)、[协议与修订](docs/experiments/EXP-3D-RGBD-DEPTHSPLAT-JEPA-TTT-V1/PROTOCOL.md)。2026-10-08 01:16:18 锁定,sha256 `fa87f117…`。 - **构建器:** - ZS:发布权重,尺度上限 0.1; - ZS3:发布权重,上限 3.0; - J1–J3:逆向 JEPA。TRAIN72 + SEG-V1,4000 步,lr 5e-6,渲染 2 个其他帧的深度相对 L1 + 0.5 × RGB L1,上限 3.0。 - 所有构建器都注入测得深度。 - **臂:** CTX(3 帧)、CACHE(3 帧上下文加 4 帧流帧)、TTT(只用于 ZS,100 步,m = 1,在 DEV 上选出);无模型的 REPROJ_HARMONIC、REPROJ7_HARMONIC 与 G1。 - **主检验(V2 gate):** - A1 = FAR:调和补全 − J; - B1 = ALL:CACHE − TTT; - B2 = ALL:REPROJ7 − TTT。 - **结果:** - A1:+0.0687,45/32,PARTIAL; - B1:+0.0298,73/5,SUPPORTED; - B2:+0.0567,54/24,PARTIAL; - 分支为 A_PARTIAL、B_MECHANISM_ONLY;分析两次逐字节相同。 - **状态:** 结束。修订 1(显存不足后重跑)、修订 2(先读 TTT 的真值)都只涉及执行。 ## EXP-MEASUREMENT-PLANNING-ORACLE-V1(2026-10-06,hit CPU,预算化深度采集的 oracle 余量审计) - [README](outputs/EXP-MEASUREMENT-PLANNING-ORACLE-V1/README.md)、[协议](outputs/EXP-MEASUREMENT-PLANNING-ORACLE-V1/PROTOCOL.md)、[预注册](outputs/EXP-MEASUREMENT-PLANNING-ORACLE-V1/preregistration.md)、[交接审计](docs/experiments/EXP-MEASUREMENT-PLANNING-ORACLE-V1/HANDOFF_AUDIT.md)、[相关工作](docs/measurement_planning_related_work.md)。 - **任务:** - episode = 记录 × 上下文角色; - 初始为 3 个 RGB-D 帧; - 候选是 9 个不属于任何角色的帧,RGB 与相机可见,深度只在请求后读取; - 预算 K ∈ {1, 2, 4},查询是 primary_query。 - **判定:** 交叉查询 oracle 相对最强可部署规则通过 V2 gate,且余量比例 ≥ 0.20。 - **结果:** NOT_ESTABLISHED(K = 1、2、4 都不成立),POLICY_TRAINING_ALLOWED = false;最强规则是 LATEST;完整性 PASS。 - **状态:** 结束。方向停止,见 `negative_result.md`。 ## EXP-3D-RGBD-DEPTHSPLAT-PROBE-V1(2026-10-05 至 10-06,hit GPU + CPU,以 DepthSplat 为基座的探索性检查) - [README](docs/experiments/EXP-3D-RGBD-DEPTHSPLAT-PROBE-V1/README.md)。探索性,未预注册。使用 DEV(8 个场景)和 EVAL-V3/V4(83 个场景,以前已被使用)。 - **设置:** - 模型:DepthSplat base(re10k+dl3dv)@2dad25a7; - 输入:3 个 RGB-D 上下文,可注入实测深度;可再加每条记录 9 个未使用的帧作为只有 RGB 的视角; - 渲染深度按累积不透明度归一化; - 组合方式:FAR 中已覆盖的像素用 DepthSplat,其余用调和插值或 G1; - 另做了 TRAIN 数据上的深度微调,以及不经渲染的深度融合。 - **结果:** 见 STATUS 的 2026-10-06 条目。 - **状态:** 结束。不做预注册确认,因为排除相邻帧之后没有可以确认的效应。 ## EXP-3D-RGBD-ARMS-CONFIRM-V33(2026-10-04,hit CPU,在新队列上确认三维上下文分支) - [计划](outputs/EXP-3D-RGBD-ARMS-CONFIRM-V33/PLAN_BEFORE_V33.md)(05:22 写定,sha256 `f4b5b846…`,此时 V32 尚无结果)。 - **设计:** 组 G1、U、P(第 24000 步,3 个 seed),队列 EVAL-V5、TRAIN-EXT、Replica;P1 = FAR(G1) − FAR(U)(EVAL-V5 ∪ TRAIN-EXT),P2 = 调和插值 − AHFILL8(U) 的标签;分支 A/B/C;只在 V32 的 P1 均值大于 0 时运行。 - **状态:** 05:30 冻结(预注册 sha256 `9ebd3e79…`);06:36 按预先写定的条件未运行(V32 的 P1 均值 −0.0020)。 ## EXP-3D-RGBD-UNET-CONTEXT-V32(2026-10-04,hit GPU 训练 + CPU 评价,覆盖整个体积的三维上下文) - [计划](outputs/EXP-3D-RGBD-UNET-CONTEXT-V32/PLAN_BEFORE_V32.md)(01:52 写定,sha256 `4bbdacfa…`)、[修订 1](outputs/EXP-3D-RGBD-UNET-CONTEXT-V32/PLAN_AMENDMENT_1.md)(01:56,sha256 `960bf302…`,冒烟测试的设备与时机)。 - **动机:** carrier 的空间感受野只有 5³ 个体素,可能是补全不一致的结构性原因;加宽(V19)不改变感受野。 - **设计:** U = V17 L 加三维 U-Net 残差分支(32³→4³→32³,每级 32 通道,带全局项,输出层初值为零,新增 361,856 个参数),对照 V21 的 G1;P1 = FAR(G1) − FAR(U)(第 24000 步,EVAL-V3/V4),P2 = 调和插值 − AHFILL8(U) 的标签;分支 A/B/C。 - **状态:** 02:12 冻结(freeze.json sha256 `8df99840…`),03:21–05:16 在 GPU 上先做冒烟测试再训练,05:17–06:34 CPU 评价。 - **结果(分支 C):** P1 FAR(G1) − FAR(U) −0.0020 [−0.0200, +0.0206](36/0/44),NOT_ESTABLISHED;P2 +0.0329(45/3/35),NOT_DISTINGUISHABLE;第 6000 步 U 好 +0.0178(57/23),第 24000 步 EVAL-FAR、FRESH-V2 上 U 更差。 ## EXP-3D-RGBD-PRETRAINED-FEATURES-V31(2026-10-04,hit GPU 训练 + CPU 评价,冻结的预训练视觉特征) - [计划](outputs/EXP-3D-RGBD-PRETRAINED-FEATURES-V31/PLAN_BEFORE_V31.md)(01:08 写定,sha256 `82ff870d…`)、[冒烟测试](outputs/EXP-3D-RGBD-PRETRAINED-FEATURES-V31/audit/smoke_v31.md)。 - **动机:** V17–V30 在现有结构里的改动,都没有让 carrier 相对无模型基线有稳定的提升;瓶颈可能是只有 8 个从零学出的图像通道。 - **设计:** P = V17 L 加上冻结的 DINOv2 ViT-S/14 特征(384→24 投影,经初值为零的 48→64 旁路进入融合),对照 V21 的 G1;P1 = FAR(G1) − FAR(P)(第 24000 步,EVAL-V3/V4),P2 = 调和插值 − AHFILL8(P) 的标签;分支 A/B/C。 - **状态:** 01:45 冻结(freeze.json sha256 `a49ca180…`),01:45–03:20 GPU 训练,03:21–04:35 CPU 评价。 - **结果(分支 C):** P1 FAR(G1) − FAR(P) +0.0041 [−0.0139, +0.0235](36/0/44),NOT_ESTABLISHED;P2 +0.0347(47/3/33),NOT_DISTINGUISHABLE;EVAL-FAR、FRESH-V2 上 P 略差。 ## EXP-3D-RGBD-DYNAMIC-TTT-RGB-SUPERVISION-V30(2026-10-03,hit GPU + CPU,只有 RGB 的新帧只作监督) - [计划](outputs/EXP-3D-RGBD-DYNAMIC-TTT-RGB-SUPERVISION-V30/PLAN_BEFORE_V30.md)(17:55 写定,sha256 `f3a0783c…`)、[协议](outputs/EXP-3D-RGBD-DYNAMIC-TTT-RGB-SUPERVISION-V30/PROTOCOL.md)。 - **动机:** V29 中缓存没有深度的新帧有害(carrier 只在带深度的视图上训练过);本轮不缓存它们,只用它们的 RGB 监督写入。 - **设计:** EVAL-V3/V4;P1 = NO_STREAM − RGB_SUP_100,P2 = CTX_TTT_100 − CTX_RGB_SUP_100;分支 A/B/C/D。 - **状态:** 18:23 冻结(预注册 sha256 `5b51493e…`),18:55–20:01 运行。 - **结果(分支 D,完整性 PASS):** P1 NO_STREAM − RGB_SUP_100 −0.0796(20/0/63),HARMFUL;P2 CTX_TTT_100 − CTX_RGB_SUP_100 +0.0013(35/0/48),NOT_ESTABLISHED;封存前没有读取任何流帧深度。 ## EXP-3D-RGBD-DYNAMIC-TTT-RGB-ONLY-V29(2026-10-03,hit GPU + CPU,只有 RGB 的新帧) - [计划](outputs/EXP-3D-RGBD-DYNAMIC-TTT-RGB-ONLY-V29/PLAN_BEFORE_V29.md)(14:09 写定,sha256 `d82283ee…`)、[协议](outputs/EXP-3D-RGBD-DYNAMIC-TTT-RGB-ONLY-V29/PROTOCOL.md)。 - **动机:** V24、V25、V27 说明新帧带深度时,无模型重投影就胜过 carrier;没有深度时,无模型方法用不上新帧,carrier 的写入可能有实际价值。 - **设计:** EVAL-V3/V4;P1 = NO_STREAM − TTT_RGB_100,P2 = REPROJ3_HARMONIC − HFILL8_3(TTT_RGB_100);分支 A/B/C/D。 - **状态:** 14:28 冻结(预注册 sha256 `f3a1c9bb…`),16:51–17:52 运行。 - **结果(分支 D,完整性 PASS):** P1 NO_STREAM − TTT_RGB_100 −0.0261(27/0/56),HARMFUL;P2 +0.0205(43/3/37),PARTIAL;只缓存没有深度的帧 −0.0386;封存前没有读取任何流帧深度。 ## EXP-3D-RGBD-DYNAMIC-TTT-REPLICA-V28(2026-10-03,hit GPU + CPU,跨数据集的流帧写入) - [计划](outputs/EXP-3D-RGBD-DYNAMIC-TTT-REPLICA-V28/PLAN_BEFORE_V28.md)(13:46 写定,sha256 `8b154c92…`)、[协议](outputs/EXP-3D-RGBD-DYNAMIC-TTT-REPLICA-V28/PROTOCOL.md)。 - **设计:** Replica 8 个场景,V17 L;P1 = OFF − TTT_100,P2 = REPROJ7_HARMONIC − HFILL8_7(TTT_100);分支 A/B/C/D。 - **状态:** 14:06 冻结(预注册 sha256 `a1019f23…`),18:12–18:44 运行。 - **结果(分支 B,完整性 PASS):** P1 OFF − TTT_100 +0.0250(7/0/1),SUPPORTED;P2 REPROJ7_HARMONIC − HFILL8_7(TTT_100) −0.1468(1/0/7),HARMFUL;carrier 0.445 与常数预测 0.411 相当,REPROJ7_HARMONIC 0.062。 ## EXP-3D-RGBD-HYBRID-CONFIRM-V27(2026-10-03,hit CPU,两个新队列上的混合方法与 MAXFILL 规则) - [计划](outputs/EXP-3D-RGBD-HYBRID-CONFIRM-V27/PLAN_BEFORE_V27.md)(13:25 写定,sha256 `d991381f…`)、[协议](outputs/EXP-3D-RGBD-HYBRID-CONFIRM-V27/PROTOCOL.md)。13:40 冻结(预注册 sha256 `f1535aa5…`),13:43 完成。 - **动机:** V24、V25 的混合方法只有 PARTIAL;探索性分析在同样的数据上找到 MAXFILL 规则,需要在新数据上检验。 - **设计:** TRAIN-EXT(V9)与 EVAL-V5(V7)合并 78 个场景;P1 = REPROJ7_HARMONIC − MAXFILL8_7(TTT_100),P2 = REPROJ7_HARMONIC − HFILL8_7(TTT_100)。 - **结果(分支 D,完整性 PASS):** P1 +0.0003(29/31/18),P2 +0.0013(36/19/23),都 NOT_ESTABLISHED;写入在 FAR7 上 +0.028(CI 不含 0)。 ## EXP-3D-RGBD-FAR-FOCUS-V26(2026-10-03,hit GPU,训练光线集中在测量覆盖不到的像素上) - [计划](outputs/EXP-3D-RGBD-FAR-FOCUS-V26/PLAN_BEFORE_V26.md)(13:04 写定,sha256 `0cce2455…`)、[修订 1](outputs/EXP-3D-RGBD-FAR-FOCUS-V26/PLAN_AMENDMENT_1.md)(13:13,sha256 `08e6e904…`,FAR 光线不放回抽取)。 - **动机:** V24、V25 说明 carrier 在实际可用的混合方法里只负责测量覆盖不到的像素,而那里的补全在场景之间不一致。 - **设计:** GF(V17 L 配方 + FAR 集中采样,GPU)对照 V21 的 G1;P1 = FAR(G1) − FAR(GF),P2 = 调和插值 − AHFILL8(GF) 的标签。 - **状态:** 13:23 冻结(freeze.json sha256 `790b7e6e…`),16:50 GPU 训练完成(三个 seed),18:01 CPU 评价与分析完成。 - **结果(分支 C):** P1 FAR(G1) − FAR(GF) +0.0198 [−0.0045, +0.0511](42/0/38),NOT_ESTABLISHED;P2 调和插值 − AHFILL8(GF) +0.0348(49/3/31),NOT_DISTINGUISHABLE;EVAL_FAR 与 FRESH_V2 上方向相反。 ## EXP-3D-RGBD-STREAM-FAR-V25(2026-10-03,hit CPU,远处 query 上的 Core B 状态与无模型基线) - [计划](outputs/EXP-3D-RGBD-STREAM-FAR-V25/PLAN_BEFORE_V25.md)(11:52 写定,sha256 `f525b031…`)、[协议](outputs/EXP-3D-RGBD-STREAM-FAR-V25/PROTOCOL.md)。12:11 冻结(预注册 sha256 `06437de3…`),12:55 完成。 - **设计:** Core B V8 封存的状态在 EVAL-FAR 远处 query 上渲染(5,688 个视图);与 V24 相同的基线与混合;P1 = REPROJ7_HARMONIC − HFILL8_7(TTT_100),P2 = HFILL8_7(OFF) − HFILL8_7(TTT_100)。 - **结果(分支 D,完整性 PASS):** - 7 帧 NEAR 占 87.1%;P1 +0.0145 [+0.0020, +0.0301],35/14/30,PARTIAL;P2 +0.0004,NOT_ESTABLISHED; - carrier 内部写入 +0.0102(58/21);归一化读出的混合相对无模型基线 +0.0202(40/14/25)。 ## EXP-3D-RGBD-STREAM-BASELINES-V24(2026-10-03,hit CPU,Core B 与使用同样帧的无模型基线) - [计划](outputs/EXP-3D-RGBD-STREAM-BASELINES-V24/PLAN_BEFORE_V24.md)(11:33 写定,sha256 `ff8ea7e0…`)、[协议](outputs/EXP-3D-RGBD-STREAM-BASELINES-V24/PROTOCOL.md)。11:46 冻结(预注册 sha256 `10ad8715…`),11:49 完成。 - **动机:** Core B 的写入一直只与 carrier 自己的其他策略比较;流帧也是测得的 RGB-D,同样可以重投影。 - **设计:** 重新计分 Core B V8 的封存预测;REPROJ7_HARMONIC 与混合 HFILL8_7(p);P1 = HFILL8_7(OFF) − HFILL8_7(TTT_100),P2 = REPROJ7_HARMONIC − HFILL8_7(TTT_100)。 - **准备:** 预演指向 Core B V8 自己的 CPU 预演目录;第一次预演在冻结阶段因取错常数的字段位置(在 V17 合同的 `eval` 之下)而停止,未计算任何东西,改正后通过;完整测试 1125 个通过。 - **结果(分支 D,完整性 PASS):** - 7 帧 NEAR 占 93.8% 的有效像素;REPROJ7_HARMONIC 0.1746,优于 carrier TTT_100(0.1858,19/83 个场景 carrier 更好); - P1 +0.0001,NOT_ESTABLISHED;P2 +0.0081 [+0.0000, +0.0189],31/19/33,PARTIAL; - FAR7 像素上 carrier 平均优于调和插值(+0.060),但不一致。 ## EXP-3D-RGBD-DYNAMIC-TTT-ONLINE-V11(2026-10-03,hit GPU,Core B 第十一轮:逐帧在线写入) - [计划](outputs/EXP-3D-RGBD-DYNAMIC-TTT-ONLINE-V11/PLAN_BEFORE_COREB_V11.md)(11:08 写定,sha256 `94a461e2…`,在 Core B V9、V10 冻结之后、得到其结果之前)、[协议](outputs/EXP-3D-RGBD-DYNAMIC-TTT-ONLINE-V11/PROTOCOL.md)。 - **动机:** 到 Core B V8 为止的写入都在 4 个流帧全部到达之后一次性进行。 - **设计:** EVAL-V3 ∪ EVAL-V4(83 个场景);P1 = OFF − ONLINE_100,P2 = ½(OFF + TTT_100) − ONLINE_100,P3 = ONLINE_NEW_100 − ONLINE_100;分支 A/B/C。 - **状态:** 11:32 冻结(预注册 sha256 `b23f1cb9…`),20:13–22:03 运行。 - **结果(分支 B,完整性 PASS):** P1 OFF − ONLINE_100 +0.0145(68/0/15),SUPPORTED;P2 +0.0038(52/0/31),NOT_ESTABLISHED;P3 −0.0027(41/0/42),NOT_ESTABLISHED;在线保住一次性写入增益的约 2/3。 ## EXP-3D-RGBD-DYNAMIC-TTT-CARRIER-V10(2026-10-03,hit GPU,Core B 第十轮:写入的增益是否依赖 carrier) - [计划](outputs/EXP-3D-RGBD-DYNAMIC-TTT-CARRIER-V10/PLAN_BEFORE_COREB_V10.md)(10:46 写定,sha256 `e8081221…`,在 Core B V9 冻结之后、得到其结果之前)、[协议](outputs/EXP-3D-RGBD-DYNAMIC-TTT-CARRIER-V10/PROTOCOL.md)。 - **动机:** Core B V4–V9 都只用 V17 L 一个 carrier。 - **设计:** EVAL-V3 ∪ EVAL-V4(83 个场景);V17 L、V18 L、V19 L、V20 L(宽度 × 训练数据的 2×2)各做 NO_STREAM、OFF、TTT_100 与 TTT_100_WRONG_SCENE;P1–P3 = 三个新 carrier 上的 OFF − TTT_100;分支 A(三者都 SUPPORTED)/B/C。 - **状态:** 11:08 冻结(预注册 sha256 `aba2a5f1…`),12:41–15:03 运行。 - **结果(分支 A,完整性 PASS):** - OFF − TTT_100:V18 L +0.0244(77/6)、V19 L +0.0286(70/13)、V20 L +0.0327(75/8),都 SUPPORTED;V17 L +0.0213; - 宽度对增益的作用 +0.0078(CI 不含 0),训练数据与交互作用的 CI 跨 0; - 15,936 个指标重新计算一致;V17 L 的 NO_STREAM、OFF 与 Core B V8 逐位相同。 ## EXP-3D-RGBD-DYNAMIC-TTT-DOSE-V9(2026-10-03,hit GPU,Core B 第九轮:300 步流帧写入与监督来源的重现) - [计划](outputs/EXP-3D-RGBD-DYNAMIC-TTT-DOSE-V9/PLAN_BEFORE_COREB_V9.md)(10:21 写定,sha256 `8956b200…`)、[协议](outputs/EXP-3D-RGBD-DYNAMIC-TTT-DOSE-V9/PROTOCOL.md)。 - **动机:** 流帧写入从 10 步加到 100 步,增益约翻倍(Core B V7、V8);V8 中新帧监督相对上下文监督 +0.0114,但只有 69% 的场景不变差(PARTIAL)。 - **设计:** TRAIN-EXT(55 个场景);P1 = TTT_100 − TTT_300,P2 = OFF_CTX_TTT_100 − TTT_100;分支 A/B/C/D。 - **状态:** 10:45 冻结(预注册 sha256 `25644e43…`),12:30 完成。 - **结果(分支 D,完整性 PASS):** - P1 TTT_100 − TTT_300 +0.0041 [−0.0033, +0.0096],44/0/11,NOT_ESTABLISHED;P2 OFF_CTX_TTT_100 − TTT_100 +0.0162 [+0.0038, +0.0296],37/0/18,PARTIAL; - OFF − TTT_100 +0.0355(51/4),OFF − TTT_300 +0.0396;特异性 +0.0651; - 3,960 个指标重新计算一致;NO_STREAM、OFF 与 Core B V6 逐位相同。 ## EXP-3D-RGBD-DEPTH-READOUT-V22(2026-10-03,hit CPU,深度读出与长训练增益) - [计划](outputs/EXP-3D-RGBD-DEPTH-READOUT-V22/PLAN_BEFORE_V22.md)(05:17 写定,sha256 `022fe661…`),05:24 冻结。 - **动机:** 事后诊断(探索性,只用 EVAL-V3/V4,[记录](outputs/EXP-3D-RGBD-POSTHOC-DIAG-V1/README.md))发现渲染器的深度未除以不透明度。改用归一化读出后,V17–V20 的长训练 FAR 增益几乎消失。 - **设计:** - 只在 CPU 上重新计分 V17–V20 已封存的 EVAL-FAR 预测,不运行任何模型; - 读出 RAW 与 NORM = 深度 / max(不透明度, 10⁻³),区域、聚合、bootstrap 与 V2 gate 都与 V11/V17 相同; - 主判定一:长训练增益在 NORM 下的残差,若 CI 上界小于 RAW 增益的一半,则为 EXPLAINED; - 主判定二:第 6000 步的归一化增益,用 V2 gate;只有 V17 用于判定。 - **结果(分支 C,完整性 PASS):** - V17:RAW +0.058 [+0.036, +0.079] → NORM +0.021 [+0.003, +0.039],NOT_EXPLAINED; - 第 6000 步的归一化增益 +0.050,PARTIAL(55/0/23); - V18–V20 的残差为 +0.009 到 +0.026; - 长训练增益约 2/3 来自读出偏差,远处 query 上仍有约 +0.02 的真实补全改进。 ## EXP-3D-RGBD-DYNAMIC-TTT-SOURCE-V8(2026-10-03,hit GPU,Core B 第八轮:新帧监督与上下文监督) - [计划](outputs/EXP-3D-RGBD-DYNAMIC-TTT-SOURCE-V8/PLAN_BEFORE_COREB_V8.md)(08:49 写定,sha256 `2f04035b…`)、[协议](outputs/EXP-3D-RGBD-DYNAMIC-TTT-SOURCE-V8/PROTOCOL.md)。 - **动机:** V6、V7 中,新帧监督相对上下文监督的点估计都为正(+0.0073、+0.0107),但 CI 跨 0;V7 中 FAR 区域 +0.0239。 - **设计:** EVAL-V3 ∪ EVAL-V4(83 个场景);P1 = OFF − TTT_100,P2 = OFF_CTX_TTT_100 − TTT_100;分支 A/B/C/D。 - **状态:** 09:03 冻结(预注册 sha256 `e4848ca4…`),10:14 完成。 - **结果(分支 B,完整性 PASS):** - P1 OFF − TTT_100 +0.0213 [+0.0141, +0.0297],73/0/10,SUPPORTED;P2 OFF_CTX_TTT_100 − TTT_100 +0.0114 [+0.0053, +0.0180],57/0/26,PARTIAL; - 上下文监督本身 +0.0099,FAR 上为 0;FAR 上 TTT_100 相对上下文监督 +0.0190; - 5,976 个指标重新计算一致,NEAR 掩码 332/332 与 V17 相同。 ## EXP-3D-RGBD-DYNAMIC-TTT-FRESH-V7(2026-10-03,hit GPU,Core B 第七轮:全新队列上的更高剂量) - [计划](outputs/EXP-3D-RGBD-DYNAMIC-TTT-FRESH-V7/PLAN_BEFORE_COREB_V7.md)(07:56 写定,sha256 `d48a9b28…`)、[协议](outputs/EXP-3D-RGBD-DYNAMIC-TTT-FRESH-V7/PROTOCOL.md)。 - **动机:** V23 显示 10 步的上下文 TTT 在 EVAL-V3/V4 上只是 PARTIAL,而 100 步的增益约为 3 倍。 - **设计:** EVAL-V5(23 个场景);V17 L 第 24000 步;8 种策略与 4 个对照;P1 = NO_STREAM − CTX_TTT_100,P2 = OFF − TTT_100;分支 A/B/C/D。 - **状态:** 08:11 冻结(预注册 sha256 `e7ede177…`),08:46 完成。 - **结果(分支 B,完整性 PASS):** - P1 NO_STREAM − CTX_TTT_100 +0.0059 [−0.0003, +0.0132],NOT_ESTABLISHED;P2 OFF − TTT_100 +0.0150 [+0.0069, +0.0243],19/0/4,SUPPORTED; - 特异性 TTT_100 +0.0228(22/1);监督来源整体 +0.0107(CI 跨 0),FAR +0.0239; - TTT_100 在 FAR 上 +0.0171;3,312 个指标重新计算一致。 ## EXP-3D-RGBD-EVAL-V5-DATA(2026-10-03,hit,放宽规则的最后一批未观察过的场景) - [计划](outputs/EXP-3D-RGBD-EVAL-V5-DATA/PLAN_BEFORE_EVAL_V5_DATA.md)、[记录](outputs/EXP-3D-RGBD-EVAL-V5-DATA/README.md)。 - **动机:** 按 EVAL-V4 的规则已无候选。用户决定允许 val 划分、允许与 DEV/FRESH 共享 volume。 - **结果:** 34 个候选,23 个有效,7 个 volume(都只与 DEV 共享);下载 332 MB;PASS。 ## EXP-3D-RGBD-STATIC-TTT-EVAL-V23(2026-10-03,hit GPU,只用上下文的测试时精修) - [计划](outputs/EXP-3D-RGBD-STATIC-TTT-EVAL-V23/PLAN_BEFORE_V23.md)(07:02 写定,sha256 `8e0f54e2…`)、[协议](outputs/EXP-3D-RGBD-STATIC-TTT-EVAL-V23/PROTOCOL.md)。 - **动机:** Core B V6 中,只用上下文的 TTT 改进了静态状态(+0.0078,45/0/10)。 - **设计:** EVAL-V3 ∪ EVAL-V4(83 个场景);V17 L 第 24000 步;NO_STREAM、CTX_TTT(10 步)、CTX_TTT_30、CTX_TTT_100 与对照;P1 = NO_STREAM − CTX_TTT,P2 = CTX_TTT_WRONG_SCENE − CTX_TTT;描述性:FAR/NEAR、调和插值、AHFILL8。 - **状态:** 07:15 冻结(预注册 sha256 `e629b9b9…`),07:54 完成。 - **结果(分支 C,完整性 PASS):** - P1(10 步)+0.0054 [+0.0019, +0.0101],59/0/24,PARTIAL;P2 特异性 +0.0062,PARTIAL; - 剂量(描述性):30 步 +0.0112,100 步 +0.0176 [+0.0079, +0.0321](66/0/17);100 步时 FAR +0.0124; - 10 步的设置对没见过的场景太少;V7 把 100 步作为主判定的设置。 ## EXP-3D-RGBD-DYNAMIC-TTT-CONTEXT-V6(2026-10-03,hit GPU,Core B 第六轮:测试时写入需要新帧吗) - [计划](outputs/EXP-3D-RGBD-DYNAMIC-TTT-CONTEXT-V6/PLAN_BEFORE_COREB_V6.md)(06:22 写定,sha256 `658025fd…`)、[协议](outputs/EXP-3D-RGBD-DYNAMIC-TTT-CONTEXT-V6/PROTOCOL.md)。 - **动机:** Core B V4/V5 的 TTT 增益集中在已观测区域,这引出两个问题:它能否在第三个独立队列上重现?它是否其实不需要新帧,只是对状态的一般性精修? - **设计:** TRAIN-EXT(55 个场景);策略 NO_STREAM、CTX_TTT、OFF、OFF_CTX_TTT、TTT 与两个对照;Core B V4 的设置;P1 = OFF − TTT,P2 = NO_STREAM − CTX_TTT。 - **状态:** 06:42:46 冻结(预注册 sha256 `136d777a…`),06:59 完成。 - **结果(分支 A,完整性 PASS):** - P1 OFF − TTT +0.0148 [+0.0054, +0.0245],49/0/6,SUPPORTED;P2 NO_STREAM − CTX_TTT +0.0078 [+0.0026, +0.0133],45/0/10,SUPPORTED; - 监督来源 OFF_CTX_TTT − TTT +0.0073,CI 跨 0;两种 TTT 都有场景特异性; - 增益以 NEAR 为主;4,620 个指标重新计算一致,NEAR 掩码 220/220 与 GPU 试点相同。 ## EXP-3D-RGBD-DYNAMIC-TTT-EVAL-V5(2026-10-03,hit GPU,Core B 第五轮:独立场景上的确认) - [计划](outputs/EXP-3D-RGBD-DYNAMIC-TTT-EVAL-V5/PLAN_BEFORE_COREB_V5.md)、[协议](outputs/EXP-3D-RGBD-DYNAMIC-TTT-EVAL-V5/PROTOCOL.md)。 - **动机:** Core B V4 为分支 A,但 DEV 只有 8 个反复使用的场景,TRAIN 选择集上也没有增益。 - **设计:** - 队列:EVAL-V3(57)∪ EVAL-V4(26),共 83 个场景。它们从未用于 Core B,也从未用于 carrier 的训练或选择; - carrier、TTT 设置(10 步,学习率 1e-3,不重新选择)、episode 规则、策略与对照都与 Core B V4 相同; - 主判定 TTT_BEYOND_BASELINE 与 TTT_SPECIFICITY,用冻结的 V2 gate;分支 A/B/C 同计划; - 描述性:每个队列、每个 seed,以及归一化的深度读出。 - **准备:** - 新模块 `rgbd_stream_ttt_eval_v5.py` 为 EVAL 记录读取上下文。测试证明,同一批合成场景上它与 Core B V4 的 DEV 路径得到逐位相同的缓存状态; - CPU 预演(4 个 TRAIN 场景充当两个 EVAL 队列)全流程通过;完整测试 1081 个通过、3 个跳过。 - **状态:** - 05:15 第一次冻结(`a0183207…`)。冻结的封存屏障每次读取都重算全部状态的哈希(平方级),05:57 在写出任何指标之前停止,产物保留在 `audit/attempt1_slow_barrier/`(`audit/incident_attempt1_slow_seal_barrier.md`); - 加入 `CachedSealBarrier`(封存关闭时与最后一个 query 之后各完整校验一次)后,06:06 重新冻结(`f2a6f0e9…`),06:18 完成。 - **结果(分支 A,完整性 PASS):** - OFF 0.207,TTT 0.199,TTT_WRONG_SCENE 0.206,NO_STREAM 0.269; - TTT_BEYOND_BASELINE +0.0079 [+0.0030, +0.0135],65/0/18,SUPPORTED;TTT_SPECIFICITY +0.0068 [+0.0015, +0.0122],67/0/16,SUPPORTED; - 3,984 个指标重新计算一致,58,174 个旧文件未变; - 事后(探索性):增益集中在 NEAR 区域,FAR 区域的改善几乎都来自新帧本身的观测。 ## EXP-3D-RGBD-DYNAMIC-TTT-V4(2026-10-03,hit GPU,Core B 第四轮) - [计划](outputs/EXP-3D-RGBD-DYNAMIC-TTT-V4/PLAN_BEFORE_COREB_V4.md)、[协议](outputs/EXP-3D-RGBD-DYNAMIC-TTT-V4/PROTOCOL.md)。 - **动机:** Core B V1–V3 中,学到的写入规则都没有胜过只缓存新帧。写入规则要从一次前向的激活里猜出快速权重的增量;本轮改为直接用新帧测得的 RGB-D,对快速权重做梯度下降(测试时训练)。 - **设计:** - carrier、episode 与 DEV 队列都与 Core B V3 相同(V17 L 第 24000 步,冻结); - TTT:缓存流帧之后,fuse 与 complete 两个增量从 0 开始,用冻结的 V2 C1 损失对 4 个流帧自己的 RGB 与测得深度做 K 步 Adam,每步每帧 256 条光线; - 超参数网格 K ∈ {10, 50} × 学习率 ∈ {1e-3, 1e-2},只在 32 个 TRAIN episode 上按 OFF − TTT 选择; - 对照 TTT_WRONG_SCENE:把下一个 DEV 场景同一角色的 TTT 增量用到本场景的缓存上; - 主判定 TTT_BEYOND_BASELINE = OFF − TTT 与 TTT_SPECIFICITY = TTT_WRONG_SCENE − TTT,用冻结的 V2 gate;分支 A/B/C 同计划。 - **准备:** - 冻结前检查代码时发现,场景数据类初始化时会读取实验目录里的 `train_depth_prior.json`。冻结流程改为从 V7 复制它,并核对与 Core B V3 的副本相同; - CPU 预演(2 个 TRAIN 场景充当 DEV,极小网格)全流程通过;完整测试 1077 个通过、3 个跳过。 - **状态:** 2026-10-03 02:26 冻结(预注册 sha256 `4f750d9c…`)。V21 训练释放 4 号卡之后,04:43 开始 GPU 预演,04:45 预演通过,正式运行 04:56 完成。 - **结果(分支 A,完整性 PASS):** - TRAIN 选择:4 组的平均增益都不为正,选 10 步、学习率 1e-3(−0.0001); - DEV AbsRel:NO_STREAM 0.330,OFF 0.236,TTT 0.224,TTT_WRONG_SCENE 0.239; - TTT_BEYOND_BASELINE +0.0115 [+0.0050, +0.0187],8/0/0,SUPPORTED;TTT_SPECIFICITY +0.0146 [+0.0072, +0.0224],8/0/0,SUPPORTED; - 384 个指标重新计算一致,57,724 个旧文件未变; - 事后(探索性):归一化深度读出下 TTT 的优势不变(+0.0120),不透明度不变,所以不是读出偏差。 - 增益小、DEV 只有 8 个场景,需要在独立数据上确认。 ## EXP-3D-RGBD-DYNAMIC-WRITE-V3(2026-10-03,hit GPU,Core B 第三轮) - [计划](outputs/EXP-3D-RGBD-DYNAMIC-WRITE-V3/PLAN_BEFORE_COREB_V3.md)、[协议](outputs/EXP-3D-RGBD-DYNAMIC-WRITE-V3/PROTOCOL.md)。 - **动机:** Core B V2 中学到的写入不胜过只缓存新帧;检验是不是因为当时的 carrier(V9 C1,宽度 8、6000 步)太弱。 - **设计:** - 与 Core B V2 相同,只把冻结的 carrier 换成 V17 L 第 24000 步的 checkpoint; - 写入规则的训练与 DEV 评价都在 4 号卡上(关闭 TF32); - 主判定 BEYOND_BASELINE = OFF − ALL 与 SPECIFICITY = ALL_WRONG_SCENE − ALL。 - **彩排:** 第一次彩排时,GPU 渲染的 RGB 因舍入略出 [0, 1],触发了指标函数的范围检查。V3 的评价改为先截断再计分,并记录截掉的量(最多 2.4×10⁻⁷);第二次彩排全流程通过。 - **结果(2026-10-03 01:59,分支 C,完整性 PASS):** - BEYOND_BASELINE −0.0015 [−0.0079, +0.0031],NOT_ESTABLISHED;SPECIFICITY −0.0011,NOT_ESTABLISHED; - 缓存新帧的作用 +0.094(Core B V2 为 +0.052);训练写入规则的作用 −0.0015; - 学到的写入在更强的 carrier 上同样不胜过只缓存新帧。 ## EXP-3D-RGBD-SEGMENT-DIVERSITY-V21(2026-10-03,hit GPU,同一批场景里的内容多样性) - [计划](outputs/EXP-3D-RGBD-SEGMENT-DIVERSITY-V21/PLAN_BEFORE_V21_DATA.md),冻结记录 `outputs/EXP-3D-RGBD-SEGMENT-DIVERSITY-V21/freeze.json`。 - **动机:** Hypersim 只剩 41 个未用场景,而且都在已用过的 volume 里;但每个训练场景只用了相机轨迹开头的 16 帧(轨迹中位数 100 帧)。 - **数据 SEG-V1(`outputs/EXP-3D-RGBD-SEGMENT-DATA-V1`):** - TRAIN72 每个场景的轨迹第 16–79 帧位置切成最多 4 个片段,沿用原记录的冻结有效性规则与相机角色规则。 - 下载在锁定顺序的第 64 个场景中途碰到 4 GB 预算,读取器报错,没有写出清单。按冻结规则(读到预算为止)不用这个场景及其后的 8 个场景;由 `scripts/recover_rgbd_segment_data.py` 在不联网的情况下重建清单,每个片段的角色支持都与原运行一致。 - 结果:240 个有效片段,来自 62 个场景。 - **设计:** - 两组都在 GPU 上用冻结的 V17 代码训练 24000 步,各 3 个 seed:G1 用原片段(72 个),G5 用原片段加 240 个新片段(312 个); - P1:DIVERSITY_GAIN = FAR(G1) − FAR(G5),第 24000 步,V2 gate;P2:调和插值 − AHFILL8(G5),INPAINT 标签。 - **状态:** 2026-10-03 01:31 冻结。第一次启动因缺 `checkpoints/` 目录在第 0 步失败(`audit/incident_launch_missing_checkpoints.md`),02:03 以同一冻结命令重启;训练 04:42 结束,CPU 上的评价 05:55 结束。 - **结果(分支 C):** - P1 DIVERSITY_GAIN −0.023 [−0.063, +0.014],32/0/48,NOT_ESTABLISHED;P2 调和插值 − AHFILL8(G5) +0.031,NOT_DISTINGUISHABLE; - 每个检查点上 G5 都比 G1 差;EVAL-FAR 上 −0.034 [−0.060, −0.006]; - 设备检查:V17 L(CPU)− G1(GPU)= −0.005 [−0.016, +0.005]; - 同一批场景里的内容多样性不能改善补全,也不能解决不一致。 ## EXP-3D-RGBD-GPU-LENGTH-PILOT-V1(2026-10-02,hit GPU,探索性) - [计划](outputs/EXP-3D-RGBD-GPU-LENGTH-PILOT-V1/PLAN_BEFORE_PILOT.md)、[结果](outputs/EXP-3D-RGBD-GPU-LENGTH-PILOT-V1/README.md)。 - 宽度 32、64 训练到 96000 步,在 TRAIN-EXT 的 55 个场景(TRAIN72 训练从未见过)上评价。 - **结果:** - FAR 在 12000–24000 步之后不再下降(宽度 32:第 24000 步 0.316,第 96000 步 0.325;宽度 64:0.312、0.321); - 宽度 64 在任何步数都没有可区分的优势; - 相对调和插值(FAR 0.418)平均好约 0.10,但只有约 33/54 个场景变好。 ## EXP-3D-RGBD-LONG-TRAIN-WIDTH-DATA-V20(2026-10-02,hit,宽度 64 × 127 个训练场景 × 长训练) - [计划](outputs/EXP-3D-RGBD-LONG-TRAIN-WIDTH-DATA-V20/PLAN_BEFORE_V20_TRAINING.md)、[协议](outputs/EXP-3D-RGBD-LONG-TRAIN-WIDTH-DATA-V20/PROTOCOL.md)。 - **动机:** 检验只有同时放大容量、数据与训练长度时补全才改善的假设;(宽度 64, TRAIN127, 24000 步) 是前几轮都没有覆盖的一角。 - **设计:** - V15 C1 配方(宽度 64,127 个场景)训练 24000 步;前 6000 步必须与 V15 C1 逐位相同。 - 与 V18 每一步的数据相同,只有宽度不同。 - P1:LENGTH_GAIN;P2:WIDTH_GAIN_24K = FAR(V18 第 24000 步) − FAR(V20 第 24000 步),都用冻结的 V2 gate。 - 四个实验都完成后,另报宽度 × 数据 × 步数的 2×2×2(描述性)。 - **结果(2026-10-03 01:38,分支 C):** 内置对照 PASS;P1 LENGTH_GAIN +0.058 [+0.026, +0.092](58/22,PARTIAL);P2 WIDTH_GAIN_24K −0.002 [−0.015, +0.012](41/39,NOT_ESTABLISHED);FAR 第 6000 → 24000 步 0.418 → 0.360(宽度 32 为 0.420 → 0.358)。2×2×2 见上方 STATUS。原状态:2026-10-02 06:16 冻结。 ## EXP-3D-RGBD-LONG-TRAIN-WIDTH-V19(2026-10-02,hit,长训练下的宽度 64) - [计划](outputs/EXP-3D-RGBD-LONG-TRAIN-WIDTH-V19/PLAN_BEFORE_V19_TRAINING.md)、[协议](outputs/EXP-3D-RGBD-LONG-TRAIN-WIDTH-V19/PROTOCOL.md)。 - **动机:** V12、V15 中宽度 64 在 6000 步时没有改善补全;检验更宽的载体是否需要更长的训练才显出优势。 - **设计:** - V12 C1 配方(宽度 64,TRAIN72)训练 24000 步;前 6000 步必须与 V12 C1 逐位相同。 - 与 V17 每一步的数据相同,只有宽度不同。 - P1:LENGTH_GAIN;P2:WIDTH_GAIN_24K = FAR(V17 第 24000 步) − FAR(V19 第 24000 步),都用冻结的 V2 gate。 - **结果(2026-10-03 00:49,分支 C):** 内置对照 PASS;P1 LENGTH_GAIN +0.042 [+0.015, +0.072](53/27,PARTIAL);P2 WIDTH_GAIN_24K +0.004 [−0.014, +0.030](41/39,NOT_ESTABLISHED);FAR 第 6000 → 24000 步 0.386 → 0.344(宽度 32 为 0.392 → 0.348)。原状态:2026-10-02 05:47 冻结。第一次完整测试时漏设 `CUDA_VISIBLE_DEVICES=""`,两个 CUDA 小测试在默认 GPU 上跑了几秒;已在隐藏 CUDA 的条件下重跑,见该实验的 `audit/incident_first_suite_cuda_visible.md`。 ## EXP-3D-RGBD-LONG-TRAIN-DATA-V18(2026-10-02,hit,127 个训练场景上的长训练) - [计划](outputs/EXP-3D-RGBD-LONG-TRAIN-DATA-V18/PLAN_BEFORE_V18_TRAINING.md)、[协议](outputs/EXP-3D-RGBD-LONG-TRAIN-DATA-V18/PROTOCOL.md)。 - **动机:** V14 中更多训练场景让补全变差;事后分析显示,两种训练集的补全都随训练步数持续改善。检验更长的训练能否扭转数据的作用。 - **设计:** - V14 C1 配方(TRAIN72 + TRAIN-EXT,127 个场景)训练 24000 步;前 6000 步必须与 V14 C1 逐位相同。 - 主判定与 V17 相同;与 V17 合成训练集 × 步数的 2×2(描述性)。 - **结果(2026-10-02 12:41,分支 C):** - 内置对照 PASS。 - P1 LENGTH_GAIN +0.062 [+0.030, +0.095],55/25 个场景,PARTIAL。 - P2 调和插值 − AHFILL8(第 24000 步) +0.032 [+0.012, +0.055],46/3/34,NOT_DISTINGUISHABLE。 - FAR:0.420(第 6000 步)→ 0.390(第 12000 步)→ 0.354(第 16000 步)→ 0.358(第 24000 步)。 - DEV 选中第 5000、2000、4000 步。 - 与 V17 的 2×2(描述性,`audit/two_by_two_v17_v18.json`):更多数据的效果在第 6000 步为 −0.027 [−0.049, −0.007],在第 24000 步为 −0.009 [−0.031, +0.014],交互 −0.018 [−0.049, +0.012]。长训练缩小了劣势,但没有反转。 ## EXP-3D-RGBD-LONG-TRAIN-V17(2026-10-02,hit,更长的训练能否改善补全) - [计划](outputs/EXP-3D-RGBD-LONG-TRAIN-V17/PLAN_BEFORE_V17_TRAINING.md)、[协议](outputs/EXP-3D-RGBD-LONG-TRAIN-V17/PROTOCOL.md)。 - **动机:** 据 V14 事后分析,V11 C1 配方的补全误差随步数单调下降,到第 6000 步仍在下降;V13 的弃权提高了组合方法的稳定性。 - **设计:** - V11 C1 配方训练 24000 步,检查点在 6000 步后追加 8000–24000 步;前 6000 步必须与 V11 C1 逐位相同(内置对照)。 - P1:LENGTH_GAIN = FAR(第 6000 步) − FAR(第 24000 步),冻结的 V2 gate。 - P2:调和插值 − AHFILL8(第 24000 步),INPAINT-V1 的标签规则。 - 主队列 EVAL-V3 ∪ EVAL-V4(83 个场景);EVAL-FAR 与 FRESH-V2 只作描述。 - **结果(2026-10-02 12:29,分支 C):** - 内置对照 PASS。 - P1 LENGTH_GAIN +0.044 [+0.018, +0.069],54/26 个场景,PARTIAL(只差场景一致性:67.5% < 75%)。 - P2 调和插值 − AHFILL8(第 24000 步) +0.035 [+0.015, +0.057],52/3/28,NOT_DISTINGUISHABLE。 - FAR:0.392(第 6000 步)→ 0.365(第 10000 步)→ 0.356(第 16000 步)→ 0.348(第 24000 步)。 - DEV 选中第 750、1500、4000 步,与 V11 C1 相同;SEL 的 FAR 0.421,比第 6000 步差 0.029。 - 描述性:EVAL-FAR 上 LENGTH_GAIN +0.058,SUPPORTED;FRESH-V2 上 +0.006,看不出。 ## 迁移到 hit(2026-10-02) - **内容:** 代码与文档从 GitHub main `249becb` 克隆;数据、记录与模型打成 5 个包,经本地中转后逐文件核对哈希(CV1–CV3 共 22,412 个文件,CV4 1,338 个,CV5 109 个)。 - **环境:** 按 `uv.lock` 同步,Python 3.12.7、PyTorch 2.11.0+cu128、NumPy 2.5.2,与 zonghan_o 相同;完整测试 1031 个通过、3 个跳过。 - **路径:** 记录里写的是 zonghan_o 的 `/home/zonghan/…` 路径,在 hit 上用启动包装 `cv_host_run.py` 在运行时映射,文件本身不改。 - **复现([HIT-REPRO-V1](outputs/EXP-3D-HIT-REPRO-V1/README.md)):** 在 hit 上重训 V15 C0(seed 20260928)。设置 `ATEN_CPU_CAPABILITY=avx2`、`MKL_CBWR=AVX2`、`DNNL_MAX_CPU_ISA=AVX2` 并用单线程 BLAS 时,与 zonghan_o 逐位一致(6000 步训练记录、第 5000/6000 步参数、12 个 DEV 检查点)。不设置时第 1 步就不同,DEV 最多差 0.047,选出的 checkpoint 也不同。GPU 上(4 号卡)训练无法逐位复现:强制确定性时 3D `grid_sample` 的反向没有确定性实现;默认设置下两次运行从第 2 步起不同,选出的 checkpoint 也不同;每步比 CPU 快 7–20 倍。 ## EXP-3D-RGBD-VOLUME-DISJOINT-V16(2026-09-30,陌生 volume 上的补全优势) - [结果](outputs/EXP-3D-RGBD-VOLUME-DISJOINT-V16/README.md)、[协议](outputs/EXP-3D-RGBD-VOLUME-DISJOINT-V16/PROTOCOL.md)。 - **动机:** V15 的事后分析提示,补全优势部分来自对训练中同一 volume 的熟悉。V16 在与训练集 volume 完全不相交的 FRESH-V2 上直接检验。 - **设计:** - 不训练;主模型为只用 TRAIN72 训练的 V11 C1,次要模型为 V12 C1,代码路径与 V13 相同。 - 这是 FRESH-V2 的第三次使用,只作机制检验。 - 对照为 V13 已评分的 EVAL-V3/V4 结果(volume 共享)。 - 08:27:42 锁定;封存前 4 个 carrier 家族在 EVAL-V3 上的 96 个数组与各自封存预测完全一致。 - **FRESH-V2(17 个场景,其中 14 个有 FAR 像素)AbsRel(ALL / FAR):** 调和插值补洞 0.307 / 0.508,V11 C1 0.251 / 0.323,HFILL8 0.278。 - **判定:** - P1(补全优势 A = 调和插值 FAR − V11 C1 FAR)+0.185,CI [−0.061, +0.590],8 好 6 差,`NOT_DISTINGUISHABLE`。 - P2(熟悉度差 Δ = A(EVAL) − A(FRESH))−0.114,CI [−0.550, +0.177],没有差距。 - 预注册分支 **D**:结论不确定。 - **描述性:** - 组合方法相对调和插值 +0.029,CI [−0.021, +0.108]。 - 按 FRESH 场景所在 volume 是否有 TRAIN-EXT 场景分组,所有模型(包括从未见过这些 volume 的 V11 C1)在前一组的优势都约为 0,所以分组差异来自场景本身。 - **结论:** 在陌生 volume 上,carrier 并没有简单地失去补全优势(平均 +0.185,比共享 volume 时还大),但优势在场景之间极不一致,样本也小。V15 的"熟悉度"解释只能算未证实的假设。 ## EXP-3D-RGBD-WIDTH-DATA-V15(2026-09-30,更多数据时的宽度) - [完整报告](docs/experiments/EXP-3D-RGBD-WIDTH-DATA-V15/README.md)、[终端摘要](docs/experiments/EXP-3D-RGBD-WIDTH-DATA-V15/STATUS.md)、[计划](outputs/EXP-3D-RGBD-WIDTH-DATA-V15/PLAN_BEFORE_V15_TRAINING.md)、[协议](outputs/EXP-3D-RGBD-WIDTH-DATA-V15/PROTOCOL.md)。 - **动机:** V14 的事后分析显示,容量固定时更多数据改善重建、损害补全。V15 检验这是否是容量不足:在 127 个训练场景上把宽度从 32 加到 64。 - **完整性:** C0(宽度 32)的全部训练记录、DEV 曲线与 648 个评价预测都与 V14 C1 逐位相同;宽度 64 的 C1 全程与 C0 共享数据流;finalize 的完整性检查为 PASS。 - **2×2(FAR AbsRel,EVAL-V3 + EVAL-V4 合并的 83 个场景):** - 宽度 32:72 个场景 0.421,127 个场景 0.443; - 宽度 64:72 个场景 0.415,127 个场景 0.446。 - **判定:** - WIDTH_AT_SCALE_GAIN(127 个场景上宽度 32 − 64)−0.003,CI [−0.014, +0.007],`NOT_ESTABLISHED`。 - HARMONIC_HYBRID_GAIN(调和插值 − HFILL8 C1)−0.002,CI [−0.023, +0.024],`NOT_DISTINGUISHABLE`。 - HFILL8_WIDTH_GAIN −0.002,CI [−0.004, −0.0002],`HARMFUL`(幅度很小)。 - 预注册分支 **C**。 - **描述性:** - 更多数据在两个宽度下都让补全变差(宽度 64 时 −0.031,CI 上界 +0.0003)。 - 交互作用 +0.009,CI [−0.006, +0.025]:数据多了之后宽度更不起作用,与容量不足的假设方向相反。 - 宽度 64 在被看到的区域更好(NEAR 0.239 对 0.246);DEV 0.262 对 0.270。 - 第 6000 步:宽度的作用 +0.002(CI 跨零),调和插值 − HFILL8 C1 +0.010(CI 跨零)。 - **结论:** V14 中数据带来的补全下降不是容量不足造成的。在 CPU 可及的宽度(8/32/64)与数据量(72/127)范围内,这个架构的补全没有随规模改善。 - **事后分析(探索性,[说明](outputs/EXP-3D-RGBD-WIDTH-DATA-V15/audit/exploratory_posthoc_volume_familiarity/README.md)):** EVAL-V3/V4 与 TRAIN72 共享 Hypersim volume。按评价场景所在 volume 在训练集中的占比变化分组:占比下降的 22 个 volume,更多数据让补全变差(宽度 32 时 −0.032);占比上升或不变的 10 个 volume 反而改善(+0.023)。两组之差 +0.055,CI [+0.013, +0.099](按 volume bootstrap;宽度 64 时 +0.054,CI [−0.002, +0.111])。这提示补全可能部分来自对同一 volume 设计风格的熟悉;但 V16 在 volume 不相交的 FRESH-V2 上没有证实这一点(见 V16),所以只能作为假设。 ## EXP-3D-RGBD-DATA-SCALE-V14(2026-09-30,只增加训练场景) - [完整报告](docs/experiments/EXP-3D-RGBD-DATA-SCALE-V14/README.md)、[终端摘要](docs/experiments/EXP-3D-RGBD-DATA-SCALE-V14/STATUS.md)、[计划](outputs/EXP-3D-RGBD-DATA-SCALE-V14/PLAN_BEFORE_TRAIN_EXT_DATA.md)、[协议](outputs/EXP-3D-RGBD-DATA-SCALE-V14/PROTOCOL.md)、[新训练数据](outputs/EXP-3D-RGBD-TRAIN-EXT-DATA/README.md)。 - **设计:** V11 C1 的配方不变,只增加训练场景。 - C0:TRAIN72;C1:TRAIN72 + TRAIN-EXT,共 127 个场景(新增 55 个有效场景,来自 29 个 volume)。 - 主评价:EVAL-V3 + EVAL-V4 合并的 83 个场景;EVAL-FAR 只作描述。 - **代码:** 由 V12 派生,有两处实质改动。 - V12 借用的 V8 `train_records` 查的是 V8 的训练集表,照抄会让 C1 仍只用 TRAIN72;V14 自带实现,并有测试专门检查。 - DEV 曲线不再保存状态文件,checkpoints 目录只有 208 MB。 - **完整性:** - C0 三个 seed 的全部 6000 步训练记录、DEV 曲线、选中的 checkpoint(750/1500/4000 步)都与 V11 C1 逐位相同;648 个 EVAL 预测的最大差为 0。 - C1 用遍了全部 127 个场景;finalize 的完整性检查为 PASS。 - **合并 83 个场景的 AbsRel(ALL / NEAR / FAR):** - C0 0.319 / 0.288 / 0.421;C1 0.295 / 0.246 / 0.443。 - 调和插值补洞 0.289;HFILL8:C0 0.278、C1 0.289;AHFILL8:C0 0.271、C1 0.274。 - **判定:** - DATA_GAIN(FAR C0 − FAR C1)−0.022,CI [−0.048, +0.001],34 好 46 差,`NOT_ESTABLISHED`。 - HARMONIC_HYBRID_GAIN(调和插值 − HFILL8 C1)+0.000,CI [−0.021, +0.026],`NOT_DISTINGUISHABLE`。 - HFILL8_DATA_GAIN −0.011,CI [−0.018, −0.005],`HARMFUL`。 - 预注册分支 **C**。 - **描述性:** - DEV:C0 0.265,C1 0.270,差值 CI 跨零。 - 训练后期 C1 在 DEV 上过拟合更轻,最后一步约低 0.03,但选中的 checkpoint 没有体现出来。 - EVAL-V3、EVAL-V4、EVAL-FAR 各自的方向与合并结果相同。 - **结论:** 训练场景增加到 1.76 倍,改善的是被看到区域的精度,而补全略变差。组合方法只在 FAR 用 carrier,因此显著变差,与调和插值补洞打平。在 CPU 可及的规模内,数据量不是补全的杠杆。 - **事后分析(探索性,[说明](outputs/EXP-3D-RGBD-DATA-SCALE-V14/audit/exploratory_posthoc_step_matched/README.md)):** 在 9 个相同步数(500–6000)上比较 C0 与 C1,每一个步数都是 C1 的补全更差(FAR 差 0.02–0.04,8 个步数的 CI 不含 0),被看到的区域都更好。所以补全变差不是选中步数不同造成的:容量固定时,更多数据把模型推向重建被看到的几何。两个变体的补全都随训练持续改善,最后一步最好,按 DEV 总误差选中的 checkpoint 常常偏早。 ## EXP-3D-RGBD-VOLUME-V13(2026-09-30,状态体积之外的弃权回退) - [结果](outputs/EXP-3D-RGBD-VOLUME-V13/README.md)、[协议](outputs/EXP-3D-RGBD-VOLUME-V13/PROTOCOL.md)、[探索性分析](outputs/EXP-3D-RGBD-VOLUME-V13/audit/exploratory_opacity_fallback/)、[锁定前试运行](outputs/EXP-3D-RGBD-VOLUME-V13/audit/pre_lock_dry_run/)、[EVAL-FAR 数据](outputs/EXP-3D-RGBD-EVAL-FAR-DATA/README.md)。 - **设计:** 不训练,使用冻结的 V11 C1(3 个 seed)。 - AHFILL8:NEAR 像素用调和插值补洞;FAR 像素中渲染不透明度 < 0.5 的也用调和插值补洞,其余用 carrier。 - 阈值 0.5 来自已用队列(EVAL-V3/V4、Replica)上的探索性分析,所以主检验放在新的 EVAL-FAR 队列上。 - **EVAL-FAR 数据:** - 79 个场景,来自 EVAL-V3/V4,分布在 32 个 volume;每个场景 2 个远处 query(cam_00 轨迹第 32、48 个位置之后),此前从未被模型读取。 - 下载 169 MB,完整性 PASS;上下文与原记录逐帧一致。 - **流程:** 01:22:23 锁定;三个队列分别封存,每次先重算 V11 的封存预测,最大差 0.0;648 个预测都在读取任何 query 深度之前封存。 - **EVAL-FAR AbsRel(ALL):** 常数 0.499,REPROJ_NN 0.271,调和插值补洞 0.261,C1 0.304,HFILL8 0.256,AHFILL8 0.246。 - **判定:** - P1 ABSTAIN_GAIN(HFILL8 − AHFILL8)+0.011,CI [+0.005, +0.017],场景 43 好 / 31 平 / 5 差,`SUPPORTED`。 - P2(调和插值补洞 − AHFILL8)+0.016,CI [−0.003, +0.039],33 个场景更好、45 个更差,`NOT_DISTINGUISHABLE`。 - 预注册分支 **B**。 - **描述性:** - 覆盖率:远处 query 的 GT 表面仍有 93.1% 在体积内(EVAL-V3 近处 94.3%,Replica 44%),所以这个队列没有复现 Replica 的低覆盖。 - 不透明度标记占 FAR 像素的 8.4%,对体积外像素的精度 0.56、召回 0.32。 - 在远处 query 上,carrier 在 FAR 区域差于调和插值补洞(0.396 对 0.376);在近处 query(EVAL-V3)上它领先 0.063。 - 近处 query:EVAL-V3 上 AHFILL8 0.224(ABSTAIN_GAIN `SUPPORTED`,但阈值正是在这里选定的);EVAL-V4 上 0.375(+0.003,CI 跨零)。 - 阈值 0.7 的数值略好(EVAL-FAR 0.243),按协议不采用。 - **结论:** 弃权回退是稳定的小改进,但组合方法仍不能确立优于经典几何补洞。Hypersim 轨迹上的远处 query 基本没有离开状态的体积,所以 Replica 式的失败没有被这个队列检验到。 ## EXP-3D-RGBD-REPLICA-TRANSFER-V1(2026-09-30,跨数据集迁移到 Replica) - [结果](outputs/EXP-3D-RGBD-REPLICA-TRANSFER-V1/README.md)、[使用计划](outputs/EXP-3D-RGBD-REPLICA-TRANSFER-V1/PLAN_BEFORE_REPLICA_USE.md)、[协议](outputs/EXP-3D-RGBD-REPLICA-TRANSFER-V1/PROTOCOL.md)、[锁定前的代码修正](outputs/EXP-3D-RGBD-REPLICA-TRANSFER-V1/audit/CODE_FIX_BEFORE_LOCK.md)、[事后诊断](outputs/EXP-3D-RGBD-REPLICA-TRANSFER-V1/audit/exploratory_posthoc_bounds_coverage/README.md)。 - **设计:** 不训练,Replica 只使用这一次。方法按规则定为 V11 C1(V12 不是分支 A),放在 HFILL8 组合中。 - **流程复现:** 在 DEV 上重算 36 个数组,与原封存预测完全一致。 - **Replica AbsRel(ALL,8 个场景,FAR 像素占 76%):** - 常数 0.411,REPROJ_NN 0.323,调和插值补洞 0.331; - V7 C1 0.611,V11 C0 0.645,V11 C1 0.635; - HFILL8_V11C1 0.556。 - **判定:** - 主对比(调和插值补洞 − HFILL8)−0.225,CI [−0.346, −0.116],8 个场景中 7 个更差,`BELOW`,分支 **C**。 - carrier 也显著差于常数:V11 C1 −0.224,V7 C1 −0.200。 - **事后诊断(描述性):** 失败有两个来源。 - 覆盖:Replica 的 query 表面只有 44% 落在状态的体积内(Hypersim 为 94%)。冻结的角色规则把 query 放在离上下文 500 帧以外的位置,这一点我在设计时没有预料到。 - 跨数据集差距:即使在体积内,carrier 也比调和插值补洞差 0.17(Hypersim 上差 0.03)。 - **结论:** 只在 72 个 Hypersim 场景上训练的状态不能迁移到另一个数据集;几何基线不受影响。 ## EXP-3D-RGBD-WIDTH-V12(2026-09-30,宽度 32→64) - [完整报告](docs/experiments/EXP-3D-RGBD-WIDTH-V12/README.md)、[终端摘要](docs/experiments/EXP-3D-RGBD-WIDTH-V12/STATUS.md)、[协议](docs/experiments/EXP-3D-RGBD-WIDTH-V12/PROTOCOL.md)。 - **设计:** 按 V11 之前写定的计划运行(V11 的 COMPLETION_GAIN 点估计 +0.005 > 0)。 - C1 为 hidden 64,250,542 个参数,在 EVAL-V4 上评价,对照为 V11 C1 已选中的 checkpoint。 - 宽度 32 的重训与 V11 C1 逐位相同:训练记录、DEV 曲线与 EVAL-V4 预测的最大差都是 0。 - **EVAL-V4 AbsRel(ALL / FAR):** V11 C1 0.382 / 0.406,宽度 64 0.381 / 0.402;HFILL8 分别为 0.3777 与 0.3775。 - **判定:** - WIDTH64_COMPLETION_GAIN +0.004,CI [−0.015, +0.022],`NOT_ESTABLISHED`; - 相对调和插值补洞 +0.010,CI 跨零,`NOT_DISTINGUISHABLE`; - 预注册分支 **C**。 - **结论:** 在 TRAIN72 上,宽度 8→32→64 都没有改善补全。 ## EXP-3D-RGBD-REPLICATION-EVAL-V4(2026-09-29,在 26 个新场景上复现 V11 与 INPAINT-V1) - [结果](outputs/EXP-3D-RGBD-REPLICATION-EVAL-V4/README.md)、[协议](outputs/EXP-3D-RGBD-REPLICATION-EVAL-V4/PROTOCOL.md)、[V11 之前写定的计划](outputs/EXP-3D-RGBD-REPLICATION-EVAL-V4/PLAN_BEFORE_V11_RESULTS.md)。 - **设计:** 不训练,冻结的 V11 C0/C1 用于 EVAL-V4(26 个从未读取过的场景)。 - **流程复现:** 在 EVAL-V3 前 2 个场景上重算 72 个数组,与原封存结果偏差为 0。 - **EVAL-V4 AbsRel(ALL):** - REPROJ_NN 0.399,REPROJ_HARMONIC 0.388,C0 0.375,C1 0.382; - HFILL8_C1 **0.378**,FILL8_C1 0.387。 - 这个队列整体更难:重投影在 NEAR 上也有 0.342(EVAL-V3 为 0.185)。 - **判定:** - 主对比(调和插值补洞 − HFILL8_C1)+0.010,CI [−0.026, +0.051],场景 12 好 14 差,`NOT_DISTINGUISHABLE`,复现分支 **B**; - V11 的两个 gate 同样都未成立(COMPLETION +0.005,HYBRID +0.012,CI 均跨零)。 - **结论:** 与 EVAL-V3 一致。组合方法数值上领先经典几何,但场景之间方向不一致,证据达不到预注册标准。 ## EXP-3D-RGB-PRIOR-BOUNDS-V10(2026-09-29,RGB-only 的 bounds 先验) - [完整报告](docs/experiments/EXP-3D-RGB-PRIOR-BOUNDS-V10/README.md)、[终端摘要](docs/experiments/EXP-3D-RGB-PRIOR-BOUNDS-V10/STATUS.md)。 - **设计:** RGB-only(测试时只有 RGB 与相机)。C0 用冻结的 V2 先验(far 5.67 m,32³),C1 用 TRAIN72 的 q01/q99 先验(0.40/15.9 m,32³),C2 同 C1 但为 16³。 - **DEV AbsRel:** C0 0.603,C1 0.461,C2 0.467。 - **判定:** - PRIOR_BOUNDS_GAIN(C0−C1)+0.142,CI [+0.022, +0.261],8 个场景中 7 个变好;排除 NO_HIT 场景 ai_009_001 后约 +0.10。 - 状态为 `PARTIAL`,因为场景专属性未建立:wrong-scene +0.012,CI 跨零;打乱 +0.048,CI [+0.001, +0.098]。 - C1 与无几何常数无法区分,预注册分支 **B**。 - 不做 checkpoint 选择时仍是 C1 更好(0.543 对 0.619)。 - **结论:** - bounds 截断确实是 V2–V6 RGB-only 失败的原因之一。下午的只用 TRAIN 的小试验指向相反方向,已被这个正式检验更正。 - 但放宽 bounds 后,RGB-only 状态仍不优于常数,也几乎不带场景信息。 ## EXP-3D-RGBD-COMPLETION-V11(2026-09-29,carrier 宽度对补全的作用) - [完整报告](docs/experiments/EXP-3D-RGBD-COMPLETION-V11/README.md)、[终端摘要](docs/experiments/EXP-3D-RGBD-COMPLETION-V11/STATUS.md)、[协议](docs/experiments/EXP-3D-RGBD-COMPLETION-V11/PROTOCOL.md)、[修正记录](docs/experiments/EXP-3D-RGBD-COMPLETION-V11/AMENDMENTS.md)。 - **设计:** V9 C1 配方(TRAIN72、32³、可变 3–7 视角),C0 为 hidden 8(5,150 参数),C1 为 hidden 32(64,238 参数)。 - 主评价在 EVAL-V3(57 个场景)上进行,全部预测在读取 query 深度之前封存。 - FAR 为离上下文深度重投影命中点超过 8 像素的像素,占 20.3%。 - **EVAL-V3 AbsRel(ALL / NEAR / FAR):** - REPROJ_NN 0.258 / 0.185 / 0.537; - C0 0.287 / 0.247 / 0.434; - C1 0.290 / 0.248 / 0.428; - FILL8_C1(NEAR 用重投影,FAR 用 C1)0.241。 - **判定:** - COMPLETION_GAIN(FAR:C0−C1)+0.005,CI [−0.006, +0.017],`NOT_ESTABLISHED`; - HYBRID_GAIN(REPROJ_NN−FILL8_C1)+0.017,CI [−0.012, +0.057],`NOT_ESTABLISHED`; - 预注册分支 **C**。 - DEV(次要):C0 0.2575、C1 0.2652。C0 与 V9 C1 的 DEV 曲线逐位相同。 - **结论:** - 容量试验中加宽带来的补全改善(TRAIN24、16³ 上 +0.059)在 TRAIN72、32³ 上没有复现。 - 学到的补全在 FAR 上明显优于最近邻补洞(0.43 对 0.54),但组合方法相对重投影的整体优势仍未确立。 - **Amendment 1:** - 问题:C1 的 seed 28 与 seed 30 在 DEV 检查点评价时,渲染颜色为 1.0000001(1 个 float32 最小单位),触发冻结的 [0, 1] 检查。 - 修正:新增的评价模块只把 1×10⁻⁶ 以内的超界截回 [0, 1]。在看任何结果之前写定,并从头重跑这两个训练;训练记录与失败的那次逐位相同(5000/5000 与 6000/6000 步)。 - **按 V11 之前写定的计划:** COMPLETION_GAIN 点估计 > 0,所以 V12(hidden 64)运行。 ## EXP-3D-RGBD-INPAINT-BASELINES-V1(2026-09-29,经典几何补洞对照) - [结果](outputs/EXP-3D-RGBD-INPAINT-BASELINES-V1/README.md)、[协议](outputs/EXP-3D-RGBD-INPAINT-BASELINES-V1/PROTOCOL.md)。在 V11 出结果之前锁定,不训练,只用 V11 已封存的预测;V11 各行复现的偏差为 0。 - **EVAL-V3 AbsRel(ALL):** - REPROJ_NN 0.258; - REPROJ_HARMONIC(逆深度调和插值补洞)0.244; - REPROJ_TELEA 0.252; - HFILL8_C1(NEAR 用调和插值,FAR 用 C1)**0.2325**,是目前所有方法中最低的。 - **判定:** AbsRel(REPROJ_HARMONIC) − AbsRel(HFILL8_C1) = +0.012,CI [−0.013, +0.044],`NOT_DISTINGUISHABLE`,分支 **B**。 - 只看 FAR:调和插值与 C1 的差 +0.063,CI [−0.051, +0.197],场景分布重尾。 - 调和插值相对最近邻 +0.014,CI [+0.003, +0.029]。 - DEV(描述):HFILL8_C1 0.175,调和插值 0.206。 - **结论:** 学到的补全平均而言优于经典几何补洞,但在 57 个场景上还达不到预注册的证据标准。按计划,这条主张目前不建议动用 final holdout。 ## 2026-09-29 晚间:对照、数据与修正(均在 V11 出结果之前写定) - **探索性补全试验**(只用 TRAIN,[说明](outputs/EXP-3D-RGBD-INPAINT-BASELINES-V1/audit/exploratory_completion_pilot_train_only/README.md)): - 调和插值补洞只略好于最近邻(ALL +0.006),Telea 更差; - 多尺度 3D 细化与"多采样看不到的像素"都没有改善补全,只有加宽有效。 - **[INPAINT-V1](outputs/EXP-3D-RGBD-INPAINT-BASELINES-V1/PROTOCOL.md)**(18:55:58 锁定):在 EVAL-V3 上比较"调和插值补洞 + V11 宽 carrier 补 FAR"与纯调和插值补洞,检验学到的补全能否胜过经典几何补洞。不训练,只用已封存的 V11 预测。 - **[EVAL-V4 数据](outputs/EXP-3D-RGBD-EVAL-V4-DATA/README.md)**:从 EVAL-V3 从未读取过的候选中得到 26 个有效场景(16 个 volume,309 MB),不运行模型。 - **[EVAL-V4 复现](outputs/EXP-3D-RGBD-REPLICATION-EVAL-V4/PROTOCOL.md)**(19:06:07 锁定):由 [V11 出结果前写定的计划](outputs/EXP-3D-RGBD-REPLICATION-EVAL-V4/PLAN_BEFORE_V11_RESULTS.md)规定,在新场景上原样复现 V11 与 INPAINT-V1 的主对比。 - **[V12 协议](outputs/EXP-3D-RGBD-WIDTH-V12/PROTOCOL.md)**:hidden 64。只有 V11 的 COMPLETION_GAIN 点估计 > 0 时才运行;主评价在 EVAL-V4 上,对照为 V11 C1 已选中的 checkpoint。 - **[V11 Amendment 1](outputs/EXP-3D-RGBD-COMPLETION-V11/AMENDMENTS.md)**: - 问题:C1 的 seed 28 与 seed 30 在 DEV 检查点评价时,渲染颜色为 1.0000001(1 个 float32 最小单位),触发冻结的 [0, 1] 检查,runner 按规则停止。 - 修正:新增的评价模块只把 1×10⁻⁶ 以内的超界截回 [0, 1];这两个训练从头重跑,训练记录必须与失败的那次逐位相同。 - **[Replica 数据](outputs/EXP-3D-RGBD-REPLICA-DATA-V1/README.md)**(用户同意下载): - 下载:只分段读取所需帧,共 105 MB。 - 处理:裁剪到与训练数据相同的视场。 - 检查:8 个场景全部通过几何检查,重投影误差的中位数为 0.03%–0.05%。 - 用途:[使用计划](outputs/EXP-3D-RGBD-REPLICA-TRANSFER-V1/PLAN_BEFORE_REPLICA_USE.md)规定它只被跨数据集迁移实验使用一次,而且排在 EVAL-V4 复现之后。 ## EXP-3D-RGBD-DYNAMIC-WRITE-V2(2026-09-29,Core B 第二轮) - [完整报告](docs/experiments/EXP-3D-RGBD-DYNAMIC-WRITE-V2/README.md)、[终端摘要](docs/experiments/EXP-3D-RGBD-DYNAMIC-WRITE-V2/STATUS.md)、[协议](docs/experiments/EXP-3D-RGBD-DYNAMIC-WRITE-V2/PROTOCOL.md)、[V9 之前写定的计划](docs/experiments/EXP-3D-RGBD-DYNAMIC-WRITE-V2/PLAN_BEFORE_V9_RESULTS.md)。 - **设计:** 冻结的 V9 C1 carrier(可变 3–7 视角训练,32³)加学习写入规则(DirectWriteRule,528 个参数,TRAIN72 上训练 3000 步)。 - 按 V9 之前写定的计划,carrier 为 V9 C1(VIEWCOUNT_GAIN 点估计 +0.002 >0),非学习基线为 OFF。 - **DEV query AbsRel:** NO_STREAM 0.2575、OFF 0.2047、OFF_CLAMP3 0.2079、ALL 0.2060、FUSE 0.2054、COMPLETE 0.2047、ALL_UNTRAINED 0.2045、ALL_WRONG_SCENE 0.2052。 - **判定:** - BEYOND_BASELINE(OFF−ALL)−0.0013,CI [−0.0046, +0.0020],`NOT_ESTABLISHED`。 - SPECIFICITY(WRONG_SCENE−ALL)−0.0007,CI [−0.0014, −0.00003],`HARMFUL`。 - 预注册分支 **C**。 - **结论:** - 可变视角训练的价值在这里兑现:直接缓存 4 个新帧就让误差从 0.258 降到 0.205(+0.053,CI [+0.014, +0.101]);V1 的固定 3 视角 carrier 缓存新帧反而变差。 - 学到的快速权重写入没有额外作用;未训练的写入同样好,也不带场景信息。状态更新靠重新融合更多视角就足够。 - 0.205 用了 7 个视角,不能直接与 3 视角重投影(0.220)比较。 - **事故说明:** 派生运行脚本时沿用了 V1 的日志路径,第一次合成预演覆盖了 V1 留在 /tmp 的收尾标准输出日志;V1 仓库内的记录完整,路径已修正。 ## EXP-3D-RGBD-VIEWCOUNT-V9(2026-09-29) - [完整报告](docs/experiments/EXP-3D-RGBD-VIEWCOUNT-V9/README.md)、[终端摘要](docs/experiments/EXP-3D-RGBD-VIEWCOUNT-V9/STATUS.md)、[协议](docs/experiments/EXP-3D-RGBD-VIEWCOUNT-V9/PROTOCOL.md)、[V8 之前写定的计划](docs/experiments/EXP-3D-RGBD-VIEWCOUNT-V9/PLAN_BEFORE_V8_RESULTS.md)。 - **设计:** 单因素检验训练时的上下文视角数,32³,CONTEXT_DEPTH bounds,全程 CPU。 - C0 固定 3 视角(V8 C1 配方)、C1 可变 3–7 视角(主方法)、C2 固定 7 视角(次要)。 - DEV 评价与 checkpoint 选择都用标准 3 视角。 - **DEV query AbsRel(选中 checkpoint):** C0 0.259、C1 0.257、C2 0.275;C0 与 V8 C1 逐位相同。 - VIEWCOUNT_GAIN +0.002,CI [−0.008, +0.013],`VIEWCOUNT_STATUS=NOT_ESTABLISHED`,预注册分支 B(C1 在全部场景上优于常数)。 - FIXED7_GAP +0.018,CI [+0.001, +0.035]:总是用 7 视角训练,在 3 视角评价时更差。 - 场景专属性(wrong-scene +0.366、shuffle +0.532)与多视角融合(+0.109)都成立。 - **不做选择的最后一步:** 0.269 / 0.277 / 0.288。 - **补充分析 2(几何基线,[结果](outputs/EXP-3D-RGBD-GEOMETRIC-BASELINES-V1/ADDENDUM2_RESULTS.md)):** 三个变体都与 REPROJ_NN 无法区分;OBS2PLUS 仍约 0.374。 - **下一步:** 按 V9 之前写定的计划(VIEWCOUNT_GAIN 点估计 >0),Core B 第二轮与 V11 都用 V9 C1 的配方,Core B 第二轮的非学习基线取 OFF。 ## EXP-3D-RGBD-GEOMETRIC-BASELINES-V1(2026-09-29) - [报告](outputs/EXP-3D-RGBD-GEOMETRIC-BASELINES-V1/README.md)、[协议](outputs/EXP-3D-RGBD-GEOMETRIC-BASELINES-V1/PROTOCOL.md)、[结果](outputs/EXP-3D-RGBD-GEOMETRIC-BASELINES-V1/baseline_results.json)。 - **问题:** 已合格的 V7 C1 能否超过不需要学习的几何基线? - 基线只用与 carrier 相同的测试时输入:3 个上下文帧的测得深度与相机,以及 query 相机。 - 不训练;所有基线预测在读取 GT 之前封存;carrier 指标重算的偏差为 0。 - **整体 AbsRel:** | 方法 | DEV | FRESH-V2 | |---|---|---| | 上下文深度重投影 + 最近邻填洞(主要基线) | 0.220 | 0.313 | | 重投影 + 常数填洞 | 0.288 | 0.384 | | 同网格同 bounds 的非学习融合 | 0.402 | 0.383 | | 混合(有重投影处用重投影,其余用 carrier) | 0.216 | 0.279 | | 学习式 carrier V7 C1 | 0.280 | 0.290 | - **主对比:** DEV 上 carrier 相对重投影为 −0.061,CI [−0.130, +0.013],NOT_DISTINGUISHABLE,预注册分支 **B**。 - FRESH-V2 上为 +0.023,CI 跨零,但重投影在 13/17 个场景上更好。 - carrier 显著优于同表示的非学习融合:DEV +0.122,FRESH +0.093,均为 ABOVE。 - **分区域:** - 在被上下文看到的区域,重投影远比 carrier 准:OBS2PLUS 为 0.105 对 0.348(DEV)、0.049 对 0.218(FRESH)。 - 在完全没看到的区域,carrier 更好:OBS0 为 0.305 对 0.334、0.348 对 0.501。 - **结论:** - 学到的状态有价值(优于同表示的非学习融合),但整体只与"直接重投影"相当。 - 它的优势在补全未观测区域;劣势是 16³ 表示丢失了观测区域的精确几何。 - 逆向 JEPA 要在 RGB-D 设定下明确胜过简单几何,需要让状态在保留观测几何精度的同时,保住对未观测区域的补全能力。 - **后续分析(探索性):** - [上限分析](outputs/EXP-3D-RGBD-GEOMETRIC-BASELINES-V1/audit/exploratory_ceiling/README.md):被看到的区域用重投影、其余用 carrier 的理想组合为 0.193,对重投影 0.220 的差 CI 跨零。保留测量不是主要杠杆,瓶颈在补全质量。 - [容量试验](outputs/EXP-3D-RGBD-GEOMETRIC-BASELINES-V1/audit/exploratory_capacity_pilot/README.md)(TRAIN24 训练、48 个未见场景):hidden 32 相对 hidden 8,在离测量较远的像素上好 0.059 [+0.021, +0.098];空洞卷积加大感受野反而更差。 ## EXP-3D-RGBD-DYNAMIC-WRITE-V1(2026-09-29,Core B 第一轮) - [完整报告](docs/experiments/EXP-3D-RGBD-DYNAMIC-WRITE-V1/README.md)、[终端摘要](docs/experiments/EXP-3D-RGBD-DYNAMIC-WRITE-V1/STATUS.md)、[协议](docs/experiments/EXP-3D-RGBD-DYNAMIC-WRITE-V1/PROTOCOL.md)。 - **设计:** - 慢 carrier:已合格的 V7 C1,冻结,从不更新。 - 学习对象:只训练项目原设计的写入规则 `DirectWriteRule`(528 个参数),在 TRAIN72 上训练 3000 步,不用 DEV 选择 checkpoint。 - episode:一个上下文角色(3 个 RGB-D 视角),加上 4 个按帧号规则选出的 stream 帧。 - 全程 CPU。 - **DEV query AbsRel:** | 策略 | 说明 | AbsRel | |---|---|---| | NO_STREAM | 只看上下文(静态 Core A 状态) | 0.280 | | OFF | 缓存 stream,不写入 | 0.322 | | OFF_CLAMP3 | 缓存 stream,视角计数截断为 3(非学习) | 0.254 | | ALL | 写入两个矩阵(主方法) | 0.260 | | FUSE | 只写 fuse 矩阵 | 0.258 | | COMPLETE | 只写 complete 矩阵 | 0.318 | | ALL_UNTRAINED | 写入规则未训练 | 0.322 | | ALL_WRONG_SCENE | 别的场景的快速权重 | 0.256 | - **判定:** - WRITE_GAIN(OFF−ALL)+0.061,CI [+0.035, +0.085],`WRITE_STATUS=SUPPORTED`。 - 相对静态状态:+0.020,CI [−0.021, +0.063],`NOT_ESTABLISHED`。 - 相对计数截断:−0.006,CI [−0.022, +0.008],`NOT_ESTABLISHED`。 - 场景专属性:别的场景的快速权重只差 −0.004,CI [−0.021, +0.008],`NOT_ESTABLISHED`。 - 预注册分支 **B**。 - **结论:** - 学到的写入是一个通用修正:它修补 carrier 只见过 3 个视角造成的视角计数偏移,效果等同于非学习的计数截断,并没有写入场景专属的信息。 - Core B 的核心主张在这一轮没有得到支持。 - 缓存更多帧本身会让冻结的 carrier 变差(−0.041)。 - **下一步:** 按分支 B,用可变视角数训练静态 carrier(V9),再检验写入(Core B 第二轮)。 - **探索性试点(只用 TRAIN,存于 audit/):** 试点 1、2 预判了这一结果。视角数试点显示,可变视角训练在留出场景上把 3 视角 AbsRel 从 0.366 降到 0.339。 ## EXP-3D-RGBD-RESOLUTION-V8(2026-09-29) - [完整报告](docs/experiments/EXP-3D-RGBD-RESOLUTION-V8/README.md)、[终端摘要](docs/experiments/EXP-3D-RGBD-RESOLUTION-V8/STATUS.md)、[协议](docs/experiments/EXP-3D-RGBD-RESOLUTION-V8/PROTOCOL.md)、[V7 之前写定的计划](docs/experiments/EXP-3D-RGBD-RESOLUTION-V8/PLAN_BEFORE_V7_RESULTS.md)。 - **设计:** 单因素检验体素网格,全程 CPU。 - 三个变体都是 V7 C1 配方(测得深度 bounds),只有网格不同:C0 16³、C1 32³、C2 24³(次要)。 - 三种网格的 5150 个共享参数与初始化完全相同。 - C0 与 V7 C1 逐位相同,DEV AbsRel 0.280380。 - **DEV query AbsRel(选中 checkpoint):** C0 0.280、C1 0.259、C2 **0.244**。 - RESOLUTION_GAIN +0.021,CI [−0.017, +0.052],`RESOLUTION_STATUS=NOT_ESTABLISHED`,预注册分支 B。 - C1 在全部场景上仍优于常数;场景专属性与多视角融合都成立。 - **选择偏差:** 不做 checkpoint 选择的最后一步为 0.330 / 0.269 / 0.279。 - 16³ 在第 2000 步之后过拟合,DEV 选择让它显得更好;32³ 选中的步数更晚(3000–5000),偏差更小。 - 不做选择时,32³ 比 16³ 好 0.061。 - **探索性诊断(只用 TRAIN):** 非学习融合在测得深度 bounds 下,32³ 比 16³ 低 0.054;在冻结 bounds 下几乎没有差别。 - **下一步:** 按 V8 之前写定的计划,V9(训练视角数)使用 32³。 ## EXP-3D-RGBD-FRESH-QUALIFICATION-V2(2026-09-29) - [完整报告](docs/experiments/EXP-3D-RGBD-FRESH-QUALIFICATION-V2/README.md)、[终端摘要](docs/experiments/EXP-3D-RGBD-FRESH-QUALIFICATION-V2/STATUS.md)、[协议](docs/experiments/EXP-3D-RGBD-FRESH-QUALIFICATION-V2/PROTOCOL.md)。 - **结果:`FRESH_QUALIFICATION_STATUS=QUALIFIED`。** V7 已封存的 RGB-D carrier(不重新训练、不重新选择)在 FRESH-V2 的 17 个独立场景(10 个 volume)上通过全部四个冻结 gate。 - **C1 query AbsRel:** 0.290,DEV 上为 0.280。C0(冻结 bounds)0.435;C2(裁 1%)0.279。 - **四个 gate:** - BOUNDS_GAIN +0.145,CI [+0.046, +0.240],14/17 个场景改善。 - C1 相对 TRAIN 拟合的常数:+0.300,CI [+0.192, +0.396],15/17 个场景更好。这一项是本轮新增的 gate。 - 场景专属性:wrong-scene +0.261,shuffle +0.490。 - 多视角融合:+0.095,CI [+0.008, +0.179],下界接近 0。 - **按 volume 聚类的 bootstrap(描述性):** BOUNDS_GAIN +0.166(9/10 个 volume 为正);C1 相对常数 +0.329(10/10 个 volume 为正)。 - **仍差于常数的两个场景:** ai_041_009(0.727 vs 0.669)与 ai_044_010(1.148 vs 0.935)。 - **统计:** 使用 V7 修订 1 的估计器。 - **意义:** Core A 的静态 carrier 在 RGB-D 轨道上首次通过资格验证,同时满足机制复现与绝对精度优于平凡基线。按项目规则,Core B(动态 TTT 写入)的下一阶段可以开启。 - **边界:** - FRESH-V2 来自官方 train 划分中从未被观察过的场景,不是官方 val/test; - 受保护的官方 final holdout 仍未打开; - 结论限于 RGB-D 轨道(测试时有上下文深度); - RGB-only 轨道仍未超过常数。 ## EXP-3D-RGBD-DEPTH-BOUNDS-V7(2026-09-29) - [完整报告](docs/experiments/EXP-3D-RGBD-DEPTH-BOUNDS-V7/README.md)、[终端摘要](docs/experiments/EXP-3D-RGBD-DEPTH-BOUNDS-V7/STATUS.md)、[协议](docs/experiments/EXP-3D-RGBD-DEPTH-BOUNDS-V7/PROTOCOL.md)、[修订记录](docs/experiments/EXP-3D-RGBD-DEPTH-BOUNDS-V7/AMENDMENTS.md)。 - **设计:** 单因素检验 bounds 规则,全程 CPU。 - 三个变体都是 V6 的 C1 配方(V5 C1 模型与 loss、TRAIN72、6000 步),训练和评价都用各自的规则。 - C0:冻结的相机射线先验规则。 - C1:测得上下文深度与相机的外包盒。 - C2:同 C1,但裁掉 1% 分位尾部(次要)。 - **DEV query AbsRel:** C0 0.459(复现 V6 C1,前几步 loss 逐位相同)、C1 **0.280**、C2 0.265。 - BOUNDS_GAIN +0.179,CI [+0.084, +0.279],7/8 个场景改善,LOSO 范围 [0.145, 0.205],`BOUNDS_STATUS=SUPPORTED`,预注册分支 **A**。 - 与常数深度相比:C1 在全部 8 个场景上都更好,平均好 +0.227,CI [+0.113, +0.342],RAW AbsRel 标签为 ABOVE。这是项目第一次满足这一条。 - 此前的 NO_HIT 场景 ai_009_001:在测得深度 bounds 下全部射线都命中,单场景收益 +0.418。 - 场景专属性:wrong-scene +0.364,shuffle +0.467。 - 多视角融合:+0.171。三项机制检查都 SUPPORTED。 - 裁 1% 与不裁剪差别不显著:TRIM_GAIN −0.015,CI [−0.039, +0.009]。 - **选择偏差:** C1 三个 seed 选中的都是第 2000 步;不做选择的最后一步为 0.330,比选中值高约 0.05。C0、C2 的偏差较小(0.462、0.285)。所以必须在独立数据上验证。 - **修订 1:** - 冻结的 V2 估计器有一条断言,要求各变体的几何射线命中比例相同。这是 V2–V6 共用 bounds 的前提;V7 的因素恰恰是 bounds,这条断言在分析阶段报错。 - 修订只删去这一条断言,写于查看任何 V7 指标之前,其余一字不改。 - 有测试证明:命中比例相同时,修订前后结果逐位一致。 - **下一步(按 V7 出结果前写定的计划):** 在 FRESH-V2(17 个独立场景)上对 V7 C1 做一次资格验证。V8(32³ 分辨率)推迟到资格验证之后。仍不开 Dynamic TTT。 ## EXP-3D-RGBD-FRESH-V2-DATA(2026-09-29) - [说明](outputs/EXP-3D-RGBD-FRESH-V2-DATA/README.md)、[数据锁](outputs/EXP-3D-RGBD-FRESH-V2-DATA/candidate_lock.json)、[清单](outputs/EXP-3D-RGBD-FRESH-V2-DATA/manifest_fresh_v2.json)。 - **内容:** 第二个独立资格队列,共 17 个场景,分布在 10 个 volume。 - 来源:官方 train 划分中从未被观察过、也从未被任何实验使用过的场景,volume 与 TRAIN72 和 DEV 都不重叠。 - 选择:名单在读取媒体之前按哈希顺序锁定;每个 volume 取前 2 个通过与模型无关的有效性检查的场景。 - 下载 553 MB,没有运行任何模型。 - **原因:** 官方 val 划分已经没有可用的独立场景;FRESH-V1 只有 5 个场景,且已用过一次。 - **使用规则:** 只给第一个在 DEV 上达到分支 A 的方法做一次资格验证。资格 gate 比 FRESH-V1 多一项:C1 在全部 FRESH-V2 场景上显著优于常数。 ## EXP-3D-RGBD-TRAIN-SCALE-V6(2026-09-29) - [完整报告](docs/experiments/EXP-3D-RGBD-TRAIN-SCALE-V6/README.md)、[终端摘要](docs/experiments/EXP-3D-RGBD-TRAIN-SCALE-V6/STATUS.md)、[协议](docs/experiments/EXP-3D-RGBD-TRAIN-SCALE-V6/PROTOCOL.md)。 - **设计:** 单因素检验训练规模,全程 CPU。 - C0、C1 都是冻结的 V5 C1 配方,每个 run 6000 步。唯一差别是训练场景 24 个对 72 个,新增的 48 个 TRAIN-X 与 DEV、FRESH 的 volume 都不重叠。 - C2 是只用 RGB 的配方,在 72 个场景上训练。 - **DEV query AbsRel:** C0 0.492、C1 0.459(至今最好)、C2 0.602。 - SCALE_GAIN +0.033,CI [−0.008, +0.084],三个 seed 方向一致,`SCALE_STATUS=NOT_ESTABLISHED`,预注册分支 C。 - 在 72 个场景下,测得深度相对只用 RGB 的收益为 +0.143,CI [+0.068, +0.210]。 - 不做 checkpoint 选择的最后一步结果为 0.495 / 0.462 / 0.611,选择偏差很小。 - **训练集拟合与状态检查:** - 训练集拟合:C0 0.195,已明显过拟合;C1 0.301。 - 场景专属性:wrong-scene +0.198,shuffle +0.295。 - 多视角融合:成立。 - **与常数深度相比:** - 排除 NO_HIT 场景后,C1 为 0.382,常数为 0.493,好 +0.111,CI [+0.011, +0.222]。 - 但只有 5/7 个场景不差于常数,未满足 75% 规则,所以仍为 NOT_DISTINGUISHABLE。 - 拖后腿的是 NO_HIT 场景 ai_009_001,以及 ai_014_003、ai_021_002。 - **结论与下一步:** - 数据规模有稳定但温和的作用;剩下的主要差距来自 bounds(NO_HIT 与截断)。 - 下一步 V7 单因素检验由测得深度确定的 bounds。 - **归档说明:** 运行期间有几个与 V6 无关的新文件进入了仓库(非学习融合、深度 bounds 模块),V6 的源码快照因此也收录了它们。这不影响 V6 的锁与结果。 ## EXP-3D-RGBD-NONLEARNED-FUSION-V1(2026-09-29) - [报告](docs/experiments/EXP-3D-RGBD-NONLEARNED-FUSION-V1/README.md)、[预注册](docs/experiments/EXP-3D-RGBD-NONLEARNED-FUSION-V1/preregistration.json)。 - **设计:** 不经学习的 RGB-D 融合对照,全程 CPU。 - 做法:上下文深度直接体素化进同一个 16³ 网格和同一 bounds,用同一个固定 renderer 读出。 - 参数:只有 4 个标量,在 TRAIN24 的 query 上做网格搜索拟合,选中 a=16、b=4、c=−2、k=1。 - 评价:DEV 与 FRESH-V1 都先封存全部状态,再读取 GT。 - **平均 AbsRel:** - DEV:非学习融合 0.596,学到的 C1 0.503,C0 0.617,常数 0.507。 - FRESH-V1:非学习融合 0.528,C1 0.472,C0 0.479,常数 0.493。 - **结论:** - 把测得深度直接体素化,效果比常数深度还差。 - 学到的 C1 在 DEV 上显著优于非学习融合(+0.093,CI [+0.006, +0.182]),在 FRESH 上方向相同但不显著;在 FRESH 上,只用 RGB 的 C0 显著优于非学习融合(+0.049,5/5 个场景)。 - 学习本身有价值,但“16³ 网格 + 当前 renderer”这一环限制了新视角的深度质量。 - 旁证:该 renderer 的深度读出未归一化,不透明度为 0.82 时深度按比例偏近约 18%。 ## EXP-3D-RGBD-FRESH-QUALIFICATION-V1(2026-09-29) - [完整报告](docs/experiments/EXP-3D-RGBD-FRESH-QUALIFICATION-V1/README.md)、[协议](docs/experiments/EXP-3D-RGBD-FRESH-QUALIFICATION-V1/PROTOCOL.md)、[数据锁](outputs/EXP-3D-RGBD-FRESH-SCALE-DATA-V1/candidate_lock.json)。 - **第一次独立资格验证**:对 V5 已封存的 checkpoint 做评价,不重新训练、不重新选择;全程 CPU。 - **独立队列 FRESH-V1**: - 来源:官方 Hypersim val split,不在历史上 365 个训练场景之内,从未被观察过。 - 独立性:与 V2–V5 的 volume 和源资产都不重叠,每个 volume 一个场景;名单在读取媒体之前冻结。 - 规模:9 个候选中 4 个未通过与模型无关的源数据几何校验;修订 1 没有找到替代。最终为 5 个场景,低于预设的最低 6 个。 - 受保护的 final holdout 未打开。 - **结果 `NOT_QUALIFIED`**: - 深度收益没有复现:FRESH 上 C0 0.479、C1 0.472,DEPTH_GAIN +0.006,CI [−0.112, +0.116];DEV 上为 +0.114。逐场景看,2 个场景 C1 明显更好,2 个明显更差。 - 场景专属性复现:wrong-scene 损伤 +0.131,shuffle +0.197,CI 均 >0。 - 多视角融合复现:3 个视角比 1 个好 +0.200,CI 均 >0。 - 仍未显著优于 TRAIN 拟合的常数:+0.021,CI 跨零。 - **解读**: - 按 DEV 挑选 checkpoint,加上 DEV 被反复使用,使 V5 的 DEV 收益偏乐观。 - 测得深度能让状态针对具体场景并融合多视角,但在新场景上没有带来稳定的精度优势,24 个训练场景学到的东西泛化有限。 - Core A 未通过资格验证,Core B 保持关闭。 - **新数据**(EXP-3D-RGBD-FRESH-SCALE-DATA-V1):同时准备了 48 个通过校验的 TRAIN-X 场景(与 DEV、FRESH 的 volume 都不重叠),供 V6 训练规模实验使用。每个场景约 7.8 MB,只按 Range 取所需文件。 ## EXP-3D-RGBD-EVIDENCE-CARRIER-V5(2026-09-29) - [完整报告](docs/experiments/EXP-3D-RGBD-EVIDENCE-CARRIER-V5/README.md)、[终端摘要](docs/experiments/EXP-3D-RGBD-EVIDENCE-CARRIER-V5/STATUS.md)、[协议](docs/experiments/EXP-3D-RGBD-EVIDENCE-CARRIER-V5/PROTOCOL.md)、[修订记录](docs/experiments/EXP-3D-RGBD-EVIDENCE-CARRIER-V5/AMENDMENTS.md)、[复现命令](docs/experiments/EXP-3D-RGBD-EVIDENCE-CARRIER-V5/commands.sh)。 - RGB-D 轨道的单因素机制诊断,Claude 起草、训练前冻结。 - C0:V4 C0 的稠密 16³ carrier,只读 RGB+相机。 - C1:C0 加一条零初始化的测得深度旁路,共 25 个参数。每个上下文视角的测距给出体素的表面与自由空间似然;旁路放在 ≥2 视角支持门之后。 - C2:C1 去掉表面监督。 - 数据边界:上下文深度只经只含上下文帧的 RGBD loader 进入状态构建;query 深度只在全部状态 seal 后评价,finalize 独立复核。 - DEV query AbsRel:C0 0.6174、C1 0.5030、C2 0.5258。 - DEPTH_GAIN +0.1144,95% CI [+0.0649, +0.1664];场景改善/持平/变差为 7/1/0(持平的是 NO_HIT 场景);LOSO [0.096, 0.131];三个 seed 分别 +0.111/+0.119/+0.114。`DEPTH_STATUS=SUPPORTED`。 - 首次同时通过三项冻结 gate: - 深度收益,见上。 - 场景专属性:C1 wrong-scene 损伤 +0.169(CI [+0.047, +0.302]),shuffle +0.216(CI [+0.107, +0.339]),`SCENE_SPECIFICITY_STATUS=SUPPORTED`。 - 多视角融合:3 个 RGB-D 视角相对 1 个(anchor)+0.152(CI [+0.074, +0.238]),`STATIC_DEV_STATUS=SUPPORTED`。 - 描述性结果: - 区域收益:OBS0 +0.103、OBS1 +0.104、OBS2PLUS +0.148,CI 均 >0。 - 训练集深度 AbsRel:C0 0.370,C1 0.268。 - 学到的深度宽度 σ≈0.76–0.82 个体素边长。 - 表面监督的额外收益:+0.023,CI 跨零。 - 与无几何常数相比(预注册描述,同时是分支条件): - 全部 8 个场景:C1 0.503,常数约 0.507(+0.004,CI [−0.130, +0.108])。 - 排除 NO_HIT 场景 ai_009_001:C1 0.432,常数约 0.493(+0.061,CI [−0.0035, +0.134])。 - 两种口径都是 NOT_DISTINGUISHABLE。 - 预注册分支:冻结规则与修订 1 规则下都是 **B**。测得深度让 carrier 形成了场景专属、多视角融合的状态,但绝对精度还没有显著超过平凡基线。 - 9 个训练无故障一次完成;1440 条预测逐行重算一致,统计字节级复现,30997 个旧文件未变,887 个测试通过。`FINAL_STATIC_STATUS=NOT_ESTABLISHED`(DEV 已曝光),`DYNAMIC_TTT_NEXT_STAGE_ALLOWED=false`。 ## EXP-3D-READOUT-REFERENCE-REANALYSIS-V1(2026-09-29) - [完整报告](docs/experiments/EXP-3D-READOUT-REFERENCE-REANALYSIS-V1/README.md)、[修订记录](docs/experiments/EXP-3D-READOUT-REFERENCE-REANALYSIS-V1/AMENDMENTS.md)、[预注册](docs/experiments/EXP-3D-READOUT-REFERENCE-REANALYSIS-V1/preregistration.json)。 - 预注册事后二次分析,Claude 起草,在读取任何 DEV GT 之前冻结。不训练、不加载模型,只读 V2–V4 全部 9 个 carrier × 3 seeds 的已封存 DEV 预测(1728 个,逐个核对哈希)。 - 对照:两个只由 TRAIN primary-query GT 拟合的无几何常数。AbsRel 最优常数 2.37 m(1/t 加权中位数),以及中位数 4.20 m。 - 读出方式:RAW、OPACITY_NORMALIZED、MEDIAN_SCALED(给定 GT 尺度的形状诊断)。 - 结果为 `NO_CARRIER_ABOVE_GEOMETRY_FREE_REFERENCE`: - AbsRel:常数 2.37 m 的 DEV query AbsRel 约 0.507,9 个 carrier 为 0.61–0.65,RAW AbsRel 全部显著更差(BELOW)。 - delta1:carrier 为 0.09–0.14,常数为 0.26。 - 形状:给定 GT 尺度后,carrier 的深度形状也不如平面常数(MEDIAN_SCALED AbsRel 全部 BELOW)。 - opacity 归一化对任何 carrier 都没有显著作用。 - RAW 重算与封存指标逐个一致。 - Amendment 1,在任何指标计算之前作出:DEV 场景 ai_009_001 的 query 射线全部落在 context bounds 之外(NO_HIT),216 个视角渲染全零,MEDIAN_SCALED 无定义,改为不缩放。排除该场景的次要敏感性分析中,V3 C1 与 V4 三个变体变为不可区分,但仍没有 carrier 优于常数。 - 结论:RGB-only learned carrier 在 DEV 上没有携带可迁移的几何。V2–V4 的主对比都是在低于平凡基线的模型之间比较。 ## EXP-3D-PLANE-SWEEP-CARRIER-V4(2026-09-29) - [完整报告](docs/experiments/EXP-3D-PLANE-SWEEP-CARRIER-V4/README.md)、[终端摘要](docs/experiments/EXP-3D-PLANE-SWEEP-CARRIER-V4/STATUS.md)、[协议](docs/experiments/EXP-3D-PLANE-SWEEP-CARRIER-V4/PROTOCOL.md)、[复现命令](docs/experiments/EXP-3D-PLANE-SWEEP-CARRIER-V4/commands.sh)(其中第 3 步“V3 protocol text”应为 V4,已封存未改)。 - 单因素机制诊断,Claude 起草、训练前冻结。 - C0:V3 的稠密 16³ carrier。 - C1:C0 加一条零初始化的 plane-sweep 旁路,共 49 个参数。旁路使用不需要学习匹配的光度代价:32×40、32 个逆深度平面、跨视角总体方差;经深度 softmax 得到每个体素的表面与自由空间似然。 - C2:C1 去掉表面监督。 - 训练 2000 步、前期加密 checkpoint,其余与 V3 相同。 - DEV query AbsRel:C0 0.6174、C1 0.6102、C2 0.6184。 - 主对比:SWEEP_GAIN +0.0072,95% CI [−0.0041, +0.0168],三个 seed 方向一致(+0.0096/+0.0070/+0.0051),`SWEEP_STATUS=NOT_ESTABLISHED`。 - 场景专属性:C1 wrong-scene 损伤 +0.029、shuffle +0.027,CI 跨零,`SCENE_SPECIFICITY_STATUS=NOT_ESTABLISHED`。 - `STATIC_DEV_STATUS=NOT_ESTABLISHED`;预注册分支 C。 - 学到的温度 τ≈0.007(初值 0.01)。 - 区域诊断(seal 后,描述性):OBS1 +0.0169(CI [+0.0005, +0.0344]),OBS2PLUS +0.0403(CI [+0.0038, +0.0871]),OBS0 −0.0007。几何线索正好在多视角可观测区域起作用,全图收益被不可观测区域稀释。这是 V2–V4 中第一个正向的机制信号。 - 事后审查与 TRAIN-only 探索诊断,均不属于冻结协议,也未打开 DEV: - 独立审查没有发现正确性 bug;u/v 方向查找与 CUDA 路径另行验证正确。 - 原始光度 plane-sweep 在真实 3 视角上下文上几乎不含深度信息:argmax AbsRel 0.518,常数为 0.557。更强的 128×160 窗口 ZNCC 也只到 0.49。视差不是原因(中位基线 1.26 m)。 - 冻结的深度先验 far=5.67 m 只由 3 个场景得到,而 24 个 TRAIN 场景的 q99 为 14 m;截断代价 ≤0.06 AbsRel。 - TRAIN 场景 ai_003_001 的 anchor 帧整幅在 3.8 cm 处,是退化帧。 - 9 个训练无故障一次完成;1440 条预测逐行重算一致,统计字节级复现,27888 个旧文件未变,测试通过。`DYNAMIC_TTT_NEXT_STAGE_ALLOWED=false`。 ## EXP-3D-DENSE-EVIDENCE-CARRIER-V3(2026-09-29) - [完整报告](docs/experiments/EXP-3D-DENSE-EVIDENCE-CARRIER-V3/README.md)、[终端摘要](docs/experiments/EXP-3D-DENSE-EVIDENCE-CARRIER-V3/STATUS.md)、[协议](docs/experiments/EXP-3D-DENSE-EVIDENCE-CARRIER-V3/PROTOCOL.md)、[复现命令](docs/experiments/EXP-3D-DENSE-EVIDENCE-CARRIER-V3/commands.sh)。 - 单因素机制诊断(Claude起草、训练前冻结):同一16³ learned carrier,多视角证据候选从128个(V2配方,16³下只覆盖3.1%体素)加密到全部4096个;参数量5125、同seed初始参数、数据与预算全部相同。C2为稠密且无surface的次要变体。沿用V2锁定的24 TRAIN / 8 DEV(DEV已在V2评价过,本轮不是资格轮)。 - DEV query AbsRel:C0稀疏0.6301、C1稠密0.6200、C2稠密无surface 0.6348。DENSITY_GAIN +0.0101,95% CI [−0.0142, +0.0394],`DENSITY_STATUS=NOT_ESTABLISHED`;C1 wrong-scene损伤+0.0214(CI [−0.061, +0.119]),`SCENE_SPECIFICITY_STATUS=NOT_ESTABLISHED`;`STATIC_DEV_STATUS=NOT_ESTABLISHED`。预注册解读分支C:排除候选稀疏为主因。 - 训练集深度AbsRel(末100步)稀疏0.490→稠密0.339,但DEV只改善约1.6%;三个seed的稠密模型均选中第一个checkpoint(500步),之后DEV query与DEV context误差都上升:稠密证据通路在训练场景上被利用,学到的却是不能迁移的场景记忆。 - 区域诊断:稠密版在OBS0显著改善(+0.0157,CI [+0.0025, +0.0285]),在OBS2PLUS略差(−0.0186)。稠密下表面监督收益C2−C1 = +0.0147,CI [−0.0030, +0.0358]。 - 探索性几何诊断(仅相机与bounds规则):稀疏128个候选中平均只有37(TRAIN)/47(DEV)个获得≥2视角支持,稠密版约1200–1440个体素获得支持(约30倍);bounds盒内约51–53%体素没有任何上下文视角可见。 - 9个训练无故障一次完成;1440条预测逐行重算一致,统计字节级复现,25087个旧文件未变;860测试通过、1跳过。`DYNAMIC_TTT_NEXT_STAGE_ALLOWED=false`。 ## EXP-3D-GEOMETRY-AWARE-CARRIER-V2(2026-09-29) - [完整报告](docs/experiments/EXP-3D-GEOMETRY-AWARE-CARRIER-V2/README.md)、[终端摘要](docs/experiments/EXP-3D-GEOMETRY-AWARE-CARRIER-V2/STATUS.md)、[接手修订](docs/experiments/EXP-3D-GEOMETRY-AWARE-CARRIER-V2/TAKEOVER_AMENDMENTS.md)、[复现命令](docs/experiments/EXP-3D-GEOMETRY-AWARE-CARRIER-V2/commands.sh)。 - 首次训练16³ learned carrier:C0 BASELINE16 vs C1 SURFACE16(仅加0.1×surface loss),C2 FREE_SURFACE16为预注册次要消融;24 TRAIN / 8 DEV(均为历史曝光场景),3 seeds × 3000步,按同一DEV规则独立选checkpoint;测试输入仅RGB+相机。 - DEV query AbsRel:C0 0.6495、C1 0.6300、C2 0.6302。SURFACE_GAIN +0.0195,95% CI [−0.0253, +0.0768],场景改善/持平/变差3/1/4,单场景贡献68%;3个seed方向均为正但CI均跨零。`SURFACE_TRAINING_STATUS=NOT_ESTABLISHED`。C1−C2 = −0.0002,free-space无额外价值。 - Full context相对anchor仅+0.0143(CI跨零);wrong-scene与spatial shuffle不造成损伤(C1:−0.0094 / +0.0016),只有清空状态造成+0.37,状态近似场景无关的先验。`STATIC_DEV_STATUS=NOT_ESTABLISHED`。OBS2PLUS上C1略差(−0.0152),未复现direct-state的surface机制特征。 - 训练集深度AbsRel约0.48、DEV约0.63(同类场景direct-state为0.31–0.36);C0的DEV误差随训练变差。carrier沿用128个证据候选点,在16³只覆盖约3%体素且分布不均,多视角证据只经稀疏候选进入状态,是下一轮首要检验的瓶颈。 - 协议CASE A:fresh未打开(独立性未解决),`FINAL_STATIC_STATUS=NOT_ESTABLISHED`,`DYNAMIC_TTT_NEXT_STAGE_ALLOWED=false`。853测试通过、1跳过;1440条预测逐行重算一致,统计字节级复现,13989个旧文件未变。 - 封存前诊断:本机0–7号P核会引发numpy原生段错误(不绑核12次3次崩溃,绑定8–23号核0次),此后所有计算绑定8–23号核。 ## EXP-3D-CONTEXT-OBSERVABILITY-SUPERVISION-V1(2026-09-28) - [完整报告](docs/experiments/EXP-3D-CONTEXT-OBSERVABILITY-SUPERVISION-V1/README.md)、[终端摘要](docs/experiments/EXP-3D-CONTEXT-OBSERVABILITY-SUPERVISION-V1/STATUS.md)、[复现命令](docs/experiments/EXP-3D-CONTEXT-OBSERVABILITY-SUPERVISION-V1/commands.sh)。 - 17个已曝光开发场景,16³ / 64 samples / GT-free bounds / 10k步direct-state;S0基线复现通过(query AbsRel 0.361556,旧值0.361480)。 - S1 free-space 0.357400、S2 surface 0.313772、S3 free+surface(预定主配置)0.312183;S0−S3 = 0.049372,95% CI [0.023642, 0.076404],缩小基线与query-oracle(0.148045)差距约23.1%。`GEOMETRY_SUPERVISION_STATUS=SURFACE_DOMINANT`,S2→S3额外收益CI跨零。 - OBS0/OBS1/OBS2PLUS像素占比0.297/0.275/0.428,`OBSERVABILITY_STATUS=MIXED`;surface监督在OBS2PLUS也有改善。 - 仅为direct-state、已曝光场景上的归因证据,不是learned carrier或独立泛化结果;未训练新carrier,未开holdout,`DYNAMIC_TTT_RUN=false`。 ## EXP-3D-16G-OPTIMIZATION-BOUNDS-V1(2026-09-28) - [完整报告](docs/experiments/EXP-3D-16G-OPTIMIZATION-BOUNDS-V1/README.md)、[终端摘要](docs/experiments/EXP-3D-16G-OPTIMIZATION-BOUNDS-V1/STATUS.md)、[复现命令](docs/experiments/EXP-3D-16G-OPTIMIZATION-BOUNDS-V1/commands.sh)。 - 16³ / 64 samples RGB+D direct-state,1k/3k/10k预算与CURRENT/GT-free两种bounds,153条轨迹、782个状态。 - GT-free 10k context-only query AbsRel 0.361480;1k→10k收益0.002255,CI [−0.0144, 0.0202]跨零;两种bounds差异CI跨零。`OPTIMIZATION_STATUS=INCONCLUSIVE`,`BOUNDS_STATUS=NO_CLEAR_DIFFERENCE`。 - GT-free query-oracle 0.148045,context→oracle差距0.213;RGB-only 0.615155。`CONTEXT_INFERENCE_BOTTLENECK=true`,`CARRIER_TRAINING_READINESS=PROMISING_BUT_NOT_READY`。 - 17个已曝光场景上的归因,不是独立确认;未训练新carrier,`DYNAMIC_TTT_RUN=false`。 ## EXP-3D-DIRECT-STATE-CAPACITY-V1(2026-09-27) - [完整报告](docs/experiments/EXP-3D-DIRECT-STATE-CAPACITY-V1/README.md)、[终端摘要](docs/experiments/EXP-3D-DIRECT-STATE-CAPACITY-V1/STATUS.md)、[复现命令](docs/experiments/EXP-3D-DIRECT-STATE-CAPACITY-V1/commands.sh)。 - 17个已曝光开发场景、425个状态优化:冻结carrier 0.679826;RGB+D direct 8³ 0.460804、16³ 0.402736、32³ 0.389382;RGB-only 8³ 0.609175;query-oracle 8³ 0.289314。 - 8³→16³收益0.058068,CI [0.0287, 0.0918];16³→32³收益0.013353不稳定;128 samples无收益。`STATE_CAPACITY_STATUS=RESOLUTION_LIMITED`。 - 全部状态的最佳checkpoint落在预算边界,表示能力瓶颈未由有限优化确立;未训练新carrier,`DYNAMIC_TTT_RUN=false`。 ## EXP-3D-SUPPORT-BOTTLENECK-REDESIGN-V1(2026-09-28) - [完整报告](docs/experiments/EXP-3D-SUPPORT-BOTTLENECK-REDESIGN-V1/README.md)、[终端摘要](docs/experiments/EXP-3D-SUPPORT-BOTTLENECK-REDESIGN-V1/STATUS.md)、[复现命令](docs/experiments/EXP-3D-SUPPORT-BOTTLENECK-REDESIGN-V1/commands.sh)。 - 旧987文件封存且统计精确复算;旧7场景标为REDESIGN_DEV_EXPOSED。新锁12DEV+12HOLDOUT,几何合格分别10/8,不替换;holdout历史曝光无法排除,独立性未解决。 - 固定8³/128/旧B-final完成R0、oracle-volume、oracle-support、联合四组,17个开发场景、680行。 - Volume-only full-context gain +0.115349 [0.014210,0.217646];绝对full-context改善仅0.034169且CI跨零,83.8%相对增幅是anchor变差的代数贡献。 - 联合gain +0.089622 [−0.026782,0.216702];query surface support66.22%未达75%充分性门槛。SUPPORT_BOTTLENECK_STATUS=INCONCLUSIVE,不能声称理想支持都无效或network是唯一原因。 - 按冻结规则停止:GT-free实景实验、matched retraining、final holdout均未运行;STATIC_STATE_STATUS=NOT_ESTABLISHED;DYNAMIC_TTT_RUN=false。 - 669测试通过,1可选历史checkpoint测试跳过;680预测文件重算全部主指标完全一致;报告、raw、锁、图、命令及完整性证据齐全。 ## EXP-3D-STATIC-CARRIER-ATTRIBUTION-V1(2026-09-27) - [完整报告](docs/experiments/EXP-3D-STATIC-CARRIER-ATTRIBUTION-V1/README.md)、[状态](docs/experiments/EXP-3D-STATIC-CARRIER-ATTRIBUTION-V1/STATUS.md)、[复现命令](docs/experiments/EXP-3D-STATIC-CARRIER-ATTRIBUTION-V1/commands.sh)。 - 固定1000A+600B B-final;仅static,旧90条精确复现,ai003保留。 - 锁定8个独立源资产候选,7个满足先验质量/几何规则,全部未参与此checkpoint训练;未打开保护集。供应商跨资产复用无法完全排除。 - 未见场景full-context相对anchor的AbsRel收益−0.189671,scene-bootstrap 95% CI [−0.291047, −0.091291];wrong-scene damage CI跨0。 - Residual 308参数,30,000步训练,训练侧验证选择7,500步;平均A/B未见AbsRel由0.797229变为0.852789,无通用改善证据。 - 已发现source-black、观察支持与查询体积覆盖限制,不能直接归因为过拟合或固定decoder。`STATIC_STATE_STATUS=NOT_ESTABLISHED`;`DYNAMIC_TTT_RUN=false`。 - 610测试通过,1历史可选checkpoint测试跳过。原始记录、锁定记录、GT日志、审计、曲线和artifact hashes保留;报告raw可离线精确重算统计。 ## EXP-2D-followup-20260927 - **状态**:POST_HOC_DISCOVERY_ONLY;保留V2全部冻结产物。 - **新增诊断**:仅用其余11序列选择全局16轨迹,12折都选ALL/B;CycleGate−该折外全局基线为−0.208623个百分点。f_cycle改善的168条候选中33条任务收益为负。 - **边界**:不改V2主要比较,不构成独立确认,不据此断言所有可见信号都无效。 - **验证**:2项新增测试通过;63份V2文件哈希无变化;重生成逐字节一致。 - **报告**:[结果与资源审计](docs/experiments/EXP-2D-followup-20260927/README.md)。 ## EXP-2D-opportunity-selector-v2-20260926T015728+0800 - **状态**:`BLOCKED_NO_INDEPENDENT_DATA`;已完成实现、旧 raw 后处理、discovery nested LOSO、全套测试与审计。 - **旧 raw 诊断**:hindsight-global16=A/ALL;dynamic−hindsight-global16=+0.205456 个百分点,重采样/删一均重新求全局winner。 - **Discovery**:CycleGate 外层 OOF ΔJ=+0.124429 个百分点,GateOnly=+0.115612;Cycle−Gate 95%区间跨0。只属 discovery 过程评估。 - **独立数据**:VOST片段缺原视频映射;FBMS原视频身份及mask编码不合格。未打开旧保护集,独立序列0,未生成确认结果。 - **验证**:500 passed、1 skipped(重试);原生崩溃日志保留,674项V1产物未变。 - **产物**:[完整报告](docs/experiments/EXP-2D-opportunity-selector-v2-20260926T015728+0800/README.md);协议/锁/raw/统计/复现命令均保存在独立目录。 这里是唯一的人类可读实验索引。机器可读的细节放在各 artifact bundle 和本地 `outputs/` 中。 ## EXP-2D-20260926-opportunity-selector-v1 - **状态**:已完成锁定验证与独立审计;按预注册门槛 H1=STRONG、H2=NOT_ESTABLISHED。 - **主评价**:448 输入、真实32×32 DINO patch、原始像素空间对象 J;16个历史内部validation序列、32 pairs。不是新holdout或官方DAVIS J&F。 - **结果**:OFF J=55.2677%;dynamic oracle=55.5129%(+0.2451个百分点,sequence-bootstrap95%CI[+0.1173,+0.3934]);visible selector=55.2207%(−0.0470个百分点)。 - **解释**:小幅答案可见机会分布于14个序列;非恒定轨迹机会比constant oracle多0.0750个百分点(不证明顺序因果机制)。部署选择器尚未获得净收益,29次写入有16次有害。 - **验证**:458 tests passed、1项缺失历史checkpoint明确skip;1792 raw rows完整、输入hash和封存边界通过审计,全部分析可逐字节重建。reserve及official val保持封存。 - **artifact**:[实验报告](docs/experiments/EXP-2D-20260926-opportunity-selector-v1/README.md)。 ## EXP-2D-20260921-corrected - **状态 / 证据**:`EXPLORATORY`;修正版,替代 `EXP-2D-20260921-original`。 - **问题**:可见观测残差产生的私有 fast-weight 写入,能否改善后续对象对应?RGB probe 能否选到有益动作? - **数据**:DAVIS-2017 train 60 段;fit/discovery/validation/reserve = 24/12/16/8;官方 val 30 sealed。 - **模型**:冻结 DINOv2-S/14,224 输入、16×16×384 token;fit-only PCA whitening 到 64 维;冻结 RGB ridge readout;每个目标图像两份私有 64×64 状态矩阵。 - **动作**:两步 `OFF/A/B/ALL`,共 16 条路径;selector 每步以可见 probe RGB MSE 选四个候选。selector 的候选计算额外计账,oracle 看答案且仅作诊断。 - **主指标**:16×16 token-grid mask transfer 的 mean object IoU;不是 DAVIS J&F。 - **验证结果**:OFF/OFF 44.34%;发现集选定固定 OFF/ALL 45.08%;RGB selector 44.03%;有限答案 oracle 45.51%。selector RGB MSE 从 0.03022 降到 0.01250,但 IoU 下降 0.31 个百分点。 - **不确定性**:按序列的描述性 bootstrap 区间宽,未做多重比较校正;tiny-object token 分辨率是明显限制。 - **可声称**:当前启发式反馈通道能改变特征并降低重建误差;RGB 重建和对象对应存在失配。 - **不可声称**:完整逆向 JEPA、自然 streaming TTT、动态策略成功、官方 DAVIS 排名或 CVPR 级结果。 - **artifact**:[curated bundle](docs/experiments/EXP-2D-20260921-corrected/README.md)。 ## EXP-2D-20260921-original - **状态**:`SUPERSEDED`。 - **原因**:`bestgloballyfixed` 汇总时每段序列只复制了第一个 target slot;原始 raw records 保留在本机 `outputs/vision_2d_probe_20260921/`,并有 `CORRECTION_REQUIRED.json`。 - **修复规则**:同一协议、同一缓存、同一参数选择;只修复记录覆盖并重跑。修正版的未受影响指标逐条精确复现。 ## 既有三维记录 `BASELINE-V5-4500`、`EXP-3D-20260919-engineering`、`EXP-3D-20260920-method-dev`、`EXP-GEOMETRY-CERT-V1` 和 `EXP-MAPANYTHING-V1` 的状态与证据边界见 [STATUS.md](STATUS.md)。历史输出没有删除;公开仓库只提交代码、说明和小型 provenance,避免误把数 GB 的 checkpoint/log 当成可复核结果。 ## 2026-09-27 三维小规模工程训练 已完成3个train场景上的100步静态+30步写入训练,生成新的 `mcss.dynamic.v1` 权重。严格重载与写入重放通过;全套测试561 passed、1 skipped。一个场景因固定体积缺乏多视图候选支持而全部写入梯度为零,保留负例;当前仅工程可用,未取得独立静态/泛化资格。 详见 [训练报告](docs/experiments/EXP-3D-20260927-small-training-v1/README.md) 和 [权重索引](docs/experiments/EXP-3D-20260927-small-training-v1/checkpoint_index.json)。 ## EXP-3D-20260927-centered-support-v1 第三场景零写入支持已通过统一锚点中心体积修复:支持点 0→4,B 阶段非零 writer 梯度 0/10→10/10。100+30 步同种子重训、checkpoint 审计和 573 passed/1 skipped 全套测试通过;最终 TRAIN OFF 场景均值 AbsRel 0.919→1.229,未获得质量提升。旧实验和权重保留,新模式显式 opt-in,不构成独立泛化或写入收益证据。 [报告与复现](docs/experiments/EXP-3D-20260927-centered-support-v1/README.md)。 ## EXP-3D-20260927-centered-training-1000a-600b-v1 2026-09-27 已完成 [1000A+600B 三维训练](docs/experiments/EXP-3D-20260927-centered-training-1000a-600b-v1/README.md):耗时112秒,TRAIN OFF AbsRel 为 A结束0.287、B结束0.332(短程1.229);B相对A回退,未验证写入收益或泛化。 两阶段权重均保留,三个场景各200/200步非零writer梯度,15项回归测试及独立审计通过。 ## EXP-3D-20260927-trained-state-history-v1 2026-09-27 [已训练权重机制补测](docs/experiments/EXP-3D-20260927-trained-state-history-v1/README.md):同训练场景留出帧上,写入oracle AbsRel收益约0.000756,但有益历史动作翻转0/3、history额外空间0;静态context A AbsRel2.214,资格仍未建立。原训练query的1次翻转单列,不当独立证据。 581 passed、1 skipped;90条static和144条dynamic raw完整,R-Residual缺已训练head,自然历史及P0/P1/P2按原资格门槛跳过。 --- Source file: README.md Raw URL: https://raw.githubusercontent.com/KennyMcSimpson/measurement-scene-state/main/README.md # Measurement Scene State / Inverse-JEPA + Dynamic-TTT research archive ## 公开阅读入口 / Public reading - **[公开文档页](https://kennymcsimpson.github.io/measurement-scene-state/)**:研究文档、实验记录、源代码与配置的静态阅读入口,随 `main` 更新自动构建。 - **[核心文档合并原文](https://kennymcsimpson.github.io/measurement-scene-state/llms-full.txt)**:直接交给支持网页读取的 AI;包含 `STATUS.md`、`EXPERIMENTS.md` 和复现导航的原文。 - **[直接读取索引](llms.txt)**:提供 `raw.githubusercontent.com` 原文链接,不依赖 Google 是否已有关键词搜索结果。 仓库公开可访问与搜索引擎收录是两件事。若搜索不到,请直接打开上述 URL;阅读结论时以 `STATUS.md` 和对应实验协议的证据边界为准。文档页只同步已跟踪的公开文档与项目源码,不包含本机数据、权重或被忽略的输出。 2026-09-30 [V16](outputs/EXP-3D-RGBD-VOLUME-DISJOINT-V16/README.md):在与训练集 volume 不相交的 FRESH-V2 上,TRAIN72 carrier 的补全优势平均 +0.185 但极不一致(8 好 6 差,CI 跨零),未能证实补全依赖对训练 volume 的熟悉(分支 D)。 2026-09-30 [V15](docs/experiments/EXP-3D-RGBD-WIDTH-DATA-V15/README.md):在 127 个训练场景上把宽度从 32 加到 64,补全仍没有改善(−0.003,CI 跨零),组合与经典补洞打平(分支 C);宽度 × 数据的 2×2 中两个因素都不改善补全。 2026-09-30 [V14](docs/experiments/EXP-3D-RGBD-DATA-SCALE-V14/README.md):训练场景从 72 增加到 127,改善了被看到区域的精度(NEAR 0.288→0.246),但补全略差(FAR 0.421→0.443);组合方法与经典补洞打平(分支 C)。 2026-09-30 [V13](outputs/EXP-3D-RGBD-VOLUME-V13/README.md):状态体积之外的弃权回退(不透明度 < 0.5 改用调和插值补洞)在 79 个场景的远处 query 上稳定改善组合方法(+0.011,CI 下界 +0.005),但仍不能确立优于经典补洞(+0.016,CI 跨零,分支 B)。 2026-09-30 [Replica 跨数据集迁移](outputs/EXP-3D-RGBD-REPLICA-TRANSFER-V1/README.md):冻结的方法显著差于经典几何补洞(−0.225,分支 C),学到的状态没有迁移;[V12](docs/experiments/EXP-3D-RGBD-WIDTH-V12/README.md):宽度 64 没有改善补全(分支 C)。 2026-09-29 [EVAL-V4 复现](outputs/EXP-3D-RGBD-REPLICATION-EVAL-V4/README.md):26 个新场景上,组合方法相对经典补洞 +0.010,CI 跨零,与 EVAL-V3 一致(分支 B)。[V10](docs/experiments/EXP-3D-RGB-PRIOR-BOUNDS-V10/README.md):放宽 RGB-only 的 bounds 让 DEV 误差 0.603→0.461(CI 下界 +0.022),但仍与常数无法区分(分支 B)。 2026-09-29 [V11](docs/experiments/EXP-3D-RGBD-COMPLETION-V11/README.md) 与 [INPAINT-V1](outputs/EXP-3D-RGBD-INPAINT-BASELINES-V1/README.md):加宽 carrier 没有稳定改善补全(分支 C);"调和插值补洞 + carrier 补看不到的区域"在 EVAL-V3 上 AbsRel 0.2325,数值上最好,但相对经典补洞的优势(+0.012)CI 跨零(分支 B)。 2026-09-29 [Core B 第二轮](docs/experiments/EXP-3D-RGBD-DYNAMIC-WRITE-V2/README.md):在可变视角训练的 carrier 上,直接缓存新帧让 DEV AbsRel 从 0.258 降到 0.205;学习写入不再有额外收益,也不带场景信息,分支 C。 2026-09-29 [训练视角数 V9](docs/experiments/EXP-3D-RGBD-VIEWCOUNT-V9/README.md):DEV AbsRel 0.259 / 0.257 / 0.275(固定 3 / 可变 3–7 / 固定 7 视角),VIEWCOUNT_GAIN +0.002,CI 跨零,分支 B。探索性诊断表明,让学到的状态超过几何的关键是补全质量;加宽 carrier 在未见场景上显著改善了补全。 2026-09-29 [强几何基线对照](outputs/EXP-3D-RGBD-GEOMETRIC-BASELINES-V1/README.md):已合格的 carrier 与直接深度重投影在整体上无法区分(分支 B)。重投影在被看到的区域准得多,carrier 在未被看到的区域更好,并显著优于同表示的非学习融合。 2026-09-29 [Core B 第一轮](docs/experiments/EXP-3D-RGBD-DYNAMIC-WRITE-V1/README.md):在冻结的合格 carrier 上学习写入规则。写入相对只缓存新帧 +0.061,但不优于静态状态和非学习的视角计数截断,也不是场景专属,分支 B。下一步用可变视角数训练 carrier(V9)。 2026-09-29 [分辨率 V8](docs/experiments/EXP-3D-RGBD-RESOLUTION-V8/README.md):16³→32³,DEV AbsRel 0.280→0.259(24³ 为 0.244),RESOLUTION_GAIN +0.021,CI 跨零,分支 B。不做 checkpoint 选择时 32³ 好 0.061。 2026-09-29 [第二次独立资格验证](docs/experiments/EXP-3D-RGBD-FRESH-QUALIFICATION-V2/README.md):V7 的 RGB-D carrier 在 17 个独立场景上 `QUALIFIED`。C1 AbsRel 0.290,BOUNDS_GAIN +0.145,相对常数 +0.300,四个冻结 gate 全部成立。Core A 静态 carrier 在 RGB-D 轨道上通过资格验证。 2026-09-29 [bounds 规则 V7](docs/experiments/EXP-3D-RGBD-DEPTH-BOUNDS-V7/README.md):改用测得上下文深度确定 bounds,DEV AbsRel 0.459→0.280(BOUNDS_GAIN +0.179,CI [+0.084, +0.279])。C1 首次在全部 DEV 场景上显著优于常数深度,预注册分支 A。下一步在 FRESH-V2(17 个独立场景)上做资格验证。 2026-09-29 [训练规模 V6](docs/experiments/EXP-3D-RGBD-TRAIN-SCALE-V6/README.md):训练场景 24→72(CPU),DEV AbsRel 0.492→0.459。SCALE_GAIN +0.033,CI 跨零,分支 C。排除 NO_HIT 场景后,C1 比常数好 +0.111(CI >0),但只有 5/7 个场景不差于常数。下一步检验由测得深度确定的 bounds(V7)。 2026-09-29 [非学习 RGB-D 融合对照](docs/experiments/EXP-3D-RGBD-NONLEARNED-FUSION-V1/README.md):把测得深度直接体素化进同一 16³ 网格和 renderer,DEV 上为 0.596,比常数(0.507)还差。学到的 RGB-D carrier(0.503)显著优于它,说明学习有价值,瓶颈更可能在表示与渲染这一环。 2026-09-29 [第一次独立资格验证](docs/experiments/EXP-3D-RGBD-FRESH-QUALIFICATION-V1/README.md):V5 的 RGB-D carrier 在 5 个独立 Hypersim 场景上 `NOT_QUALIFIED`。深度收益没有复现(+0.006,CI 跨零;DEV 上为 +0.114),场景专属性与多视角融合则复现。DEV 选择偏差使 V5 的收益偏乐观,下一步检验训练规模(V6,24→72 个场景,CPU)。 2026-09-29 [RGB-D 证据 carrier V5](docs/experiments/EXP-3D-RGBD-EVIDENCE-CARRIER-V5/README.md):上下文深度经零初始化旁路进入状态(单因素),DEPTH_GAIN +0.114(CI [+0.065, +0.166])。`DEPTH_STATUS`、`SCENE_SPECIFICITY_STATUS`、`STATIC_DEV_STATUS` 首次同时为 `SUPPORTED`。但 C1 仍未显著优于常数深度:排除 NO_HIT 场景后为 0.432,常数约 0.493。预注册分支 B。 2026-09-29 [无几何参考再分析](docs/experiments/EXP-3D-READOUT-REFERENCE-REANALYSIS-V1/README.md):预注册事后分析 V2–V4 全部 9 个 RGB-only carrier 的已封存 DEV 预测,无一优于只由 TRAIN 拟合的常数深度。2.37 m 常数的 DEV AbsRel≈0.507,carrier 为 0.61–0.65,全部显著更差;给定 GT 尺度后,深度形状也不如平面常数。RGB-only carrier 在 DEV 上没有携带可迁移的几何。 2026-09-29 [plane-sweep carrier V4](docs/experiments/EXP-3D-PLANE-SWEEP-CARRIER-V4/README.md):单因素加入零初始化的光度 plane-sweep 旁路,SWEEP_GAIN +0.0072,CI [−0.0041, +0.0168],`NOT_ESTABLISHED`,分支 C。在多视角可观测区域有描述性改善:OBS2PLUS +0.040,CI [+0.004, +0.087]。TRAIN-only 诊断显示 32×40 光度线索在真实上下文上几乎不含深度信息。下一轮进入 RGB-D 轨道(V5)。 2026-09-29 [稠密证据carrier V3](docs/experiments/EXP-3D-DENSE-EVIDENCE-CARRIER-V3/README.md):证据候选128→4096(单因素),DEV收益+0.0101,CI跨零,`NOT_ESTABLISHED`;训练集深度AbsRel 0.490→0.339但DEV几乎不变,稠密模型均在500步最好,之后过拟合。预注册分支C:候选稀疏不是主因,下一轮研究几何推理式融合。 2026-09-29 [16³ geometry-aware learned carrier V2](docs/experiments/EXP-3D-GEOMETRY-AWARE-CARRIER-V2/README.md):首次训练16³ learned carrier,C0/C1 matched(3 seeds)。表面监督收益+0.0195,95% CI [−0.025, +0.077]跨零,`NOT_ESTABLISHED`;wrong-scene与空间打乱不造成损伤,状态近似场景无关先验,full context未胜anchor。Dynamic TTT仍关闭。此前三轮direct-state归因(容量、优化与bounds、可观测性监督)已补入[EXPERIMENTS.md](EXPERIMENTS.md)。 2026-09-28 [Support bottleneck归因与redesign gate](docs/experiments/EXP-3D-SUPPORT-BOTTLENECK-REDESIGN-V1/README.md):7个旧曝光+10个新开发场景完成oracle诊断。Volume-only相对gain为正,但完整context绝对改善CI跨零,约83.8%的gain增幅来自anchor变差;联合oracle未过门槛且支持不充分,结论`INCONCLUSIVE`。按协议未继续实景GT-free/matched retraining,最终holdout未开启,历史独立性另有阻塞。 2026-09-27 [静态 carrier 归因与未见场景资格](docs/experiments/EXP-3D-STATIC-CARRIER-ATTRIBUTION-V1/README.md):旧90条记录精确复现;7个未见场景 full-context AbsRel 0.7972,差于 anchor 0.6076,收益95% CI为[-0.2910, -0.0913]。ai003原始JPEG已全黑且A双视图支持为零;Residual完成训练但未建立通用改善。`STATIC_STATE_STATUS=NOT_ESTABLISHED`,未运行新Dynamic TTT。 协作入口:先看 [当前结果与复现说明](docs/handoff/SHARED_WORKSPACE.md)。[三维从零复现](docs/handoff/3D_REPRODUCTION.md) 提供便携脚本;大报告先运行 `python scripts/restore_report_artifacts.py` 恢复,权重与数据不随 Git 分发。 2026-09-27 [已训练权重机制补测](docs/experiments/EXP-3D-20260927-trained-state-history-v1/README.md):同训练场景留出帧上,写入oracle AbsRel收益约0.000756,但有益历史动作翻转0/3、history额外空间0;静态context A AbsRel2.214,资格仍未建立。原训练query的1次翻转单列,不当独立证据。 2026-09-27 已完成 [1000A+600B 三维训练](docs/experiments/EXP-3D-20260927-centered-training-1000a-600b-v1/README.md):耗时112秒,TRAIN OFF AbsRel 为 A结束0.287、B结束0.332(短程1.229);B相对A回退,未验证写入收益或泛化。 2026-09-27 三维修复:[锚点中心体积实验](docs/experiments/EXP-3D-20260927-centered-support-v1/README.md) 已恢复第三场景写入梯度(0/10 → 10/10),但重建指标变差;仅工程修复,保留原权重。 2026-09-27 后续探索:[折外全局轨迹与 cycle 诊断](docs/experiments/EXP-2D-followup-20260927/README.md)。12个discovery外层折都选择ALL/B;CycleGate仍低约0.209个百分点。仅属事后discovery分析,独立确认仍受阻。 V2 最新进展(2026-09-26):[独立确认报告](docs/experiments/EXP-2D-opportunity-selector-v2-20260926T015728+0800/README.md) 已完成旧 raw 的 global16 诊断、discovery nested LOSO、实现与测试;独立确认因外部原视频身份/标注兼容性审计未通过而标为 `BLOCKED_NO_INDEPENDENT_DATA`。discovery 的正值不能当成新测试成功。 最新进展(2026-09-26):[Opportunity + visible selector v1](docs/experiments/EXP-2D-20260926-opportunity-selector-v1/README.md) 已完成。高分辨率评价支持小幅跨序列oracle机会,但简单部署选择器没有净收益。 这是 Kenny 的 CV 研究协作仓库。仓库把三条内容放在一起,但明确区分证据等级: 1. 原来的 `Measurement Scene State` 三维主线与 V5 比较基线; 2. 逆向 JEPA 与动态 TTT 的原始方案、ICLR 初稿和讨论记录; 3. 2026-09-21 用 DAVIS + 冻结 DINOv2 做的二维机制筛查。 当前公开内容是**可复核的研究档案和工程代码**。它还没有证明一个完整的逆向 JEPA + 动态 TTT 方法,也没有官方 DAVIS、DL3DV、Hypersim 或 CVPR 结果。请先阅读 [STATUS.md](STATUS.md) 和 [EXPERIMENTS.md](EXPERIMENTS.md),再运行代码或提出下一步。 ## 先看什么 - [STATUS.md](STATUS.md):哪些东西已经验证,哪些只是开发或诊断证据。 - [EXPERIMENTS.md](EXPERIMENTS.md):每个实验的目的、划分、命令、结果和不能声称的内容。 - [ROADMAP.md](ROADMAP.md):下一步的门槛和停止条件。 - [docs/handoff/REPOSITORY_MAP.md](docs/handoff/REPOSITORY_MAP.md):给合作者或 AI 的文件导航。 - [research/ideas/](research/ideas/):原始中文方案、二维切口分析和首轮结果报告。 - [docs/provenance/CLAIMS.md](docs/provenance/CLAIMS.md):`CONTRACT`、`ENGINEERING`、`EXPLORATORY`、`DIAGNOSTIC_ORACLE` 等证据标签的含义。 ## 当前最重要的二维结果 二维实验使用 DAVIS-2017 train 的 24/12/16/8 序列划分,官方 val 30 段封存;冻结 DINOv2-S/14 输出 16×16×384 token。评价是 16×16 token 网格上的对象 mask transfer IoU,不是 DAVIS 官方 J&F。 | 方法 | validation object IoU | RGB MSE | |---|---:|---:| | OFF/OFF | 44.34% | 0.03022 | | discovery 选出的固定 OFF/ALL | 45.08% | 0.01770 | | RGB residual 动态 selector | 44.03% | 0.01250 | | 答案可见的有限轨迹 oracle(诊断) | 45.51% | 0.02407 | 动态 selector 让 RGB MSE 下降约 58.6%,但对象对应没有改善。这是当前方向需要解决的具体问题:**能解释观测,不等于能保留对任务有用的状态**。完整数据与核验文件在本地 `outputs/vision_2d_probe_20260921_corrected/`,公开仓库的精简 bundle 在 `docs/experiments/EXP-2D-20260921-corrected/`。 ## 安装和最小检查 需要 Python 3.11–3.12。锁文件 `uv.lock` 已纳入仓库;GPU 运行需要匹配的 PyTorch/CUDA 环境。原始数据和权重不随仓库分发,下载说明与本地完整性记录见 [docs/provenance/DATA.md](docs/provenance/DATA.md)。 ```powershell uv sync --extra dev uv run pytest -q uv run ruff check . ``` 二维 probe 的 focused checks: ```powershell uv run pytest tests/test_vision_probe_adaptation.py tests/test_vision_probe_geometry.py tests/test_vision_probe_runner.py -q uv run ruff check scripts/run_vision_probe.py scripts/analyze_vision_probe.py scripts/inspect_vision_probe.py src/mcss/vision_probe tests/test_vision_probe_adaptation.py tests/test_vision_probe_geometry.py tests/test_vision_probe_runner.py ``` 下载数据后,使用新的输出目录运行 probe;不要覆盖已封存的结果目录: ```powershell uv run python scripts/prepare_2d_probe_assets.py uv run python scripts/run_vision_probe.py ` --data-root data/vision_2d_probe/davis2017_trainval_480p/DAVIS ` --weights data/vision_2d_probe/weights/dinov2_vits14_pretrain.pth ` --backbone-repo third_party/dinov2 ` --output outputs/vision_2d_probe_reproduction ` --device cuda --eta 0.5 2 5 uv run python scripts/analyze_vision_probe.py outputs/vision_2d_probe_reproduction ``` ## 公开范围 仓库包含源代码、测试、协议、精简机器可读结果、原始研究笔记和 ICLR 初稿。以下内容保留在本机但不上传:DAVIS/Hypersim/DL3DV 数据、DINOv2 和其他模型权重、feature cache、checkpoint、`.venv`、大型生成日志以及下载包。这样合作者可以按来源和 hash 重新取得输入,也不会把数据许可证或 GitHub 单文件限制混进研究代码。 `third_party/` 中的外部依赖以固定 Git 链接记录,不把上游代码重新许可为本项目代码;克隆后运行 `git submodule update --init --recursive`。项目自己的代码适用 [LICENSE](LICENSE),第三方代码和论文草稿不因该文件自动获得同一许可证。详细边界见 [THIRD_PARTY_NOTICES.md](THIRD_PARTY_NOTICES.md)。 ## 贡献方式 先看 [CONTRIBUTING.md](CONTRIBUTING.md)。每次实验都要留下:固定协议、数据/代码 hash、精确命令、测试退出码、原始记录、结果解释和不能声称的内容。不要把某个开发集或 oracle 数字写成最终 benchmark。 ```powershell cd uv sync --extra dev uv run --extra dev pytest -q uv run --extra dev ruff check . uv run mcss train --config configs\synthetic_smoke.yaml uv run mcss evaluate --config configs\synthetic_smoke.yaml ` --checkpoint outputs\synthetic_smoke\checkpoints\step_000008.pt uv run python scripts\cuda_smoke.py ``` The synthetic command is self-contained and does not download data. It writes checkpoints, JSONL training logs, and evaluation JSON below `outputs/`, which is ignored by Git. The CUDA smoke checks forward and backward execution for all three model modes under both the legacy and evidence-residual state architectures. It exits with a clear message when the installed PyTorch runtime cannot see a CUDA device. ## Commands ```text mcss train --config CONFIG.yaml mcss evaluate --config CONFIG.yaml --checkpoint CHECKPOINT.pt mcss diagnose --config CONFIG.yaml --checkpoint CHECKPOINT.pt mcss download replica --root data\replica_raw --dry-run mcss download hypersim --root data\hypersim_raw --scenes ai_001_001 ai_001_002 --dry-run mcss prepare replica --raw-root data\replica_rendered --output-root data\replica_prepared mcss prepare hypersim --raw-root data\hypersim_raw --output-root data\hypersim_prepared --scenes ai_001_001 ``` `docs/DATASETS.md` contains the official sources, disk estimates, subset workflow, and the Replica rendering boundary. `docs/PROTOCOL.md` defines matched comparisons, held-out measurement tests, metrics, and mechanism diagnostics. The old verified 60/20/20 Hypersim subset and A+ configs remain diagnostic provenance. The new protocol plans all 365 official train scenes, all 46 validation scenes, the 20 previously observed test scenes as diagnostic-only, and the remaining 26 test scenes as a sealed final holdout. Inspect and materialize the expansion with: ```powershell uv run python scripts\plan_hypersim_expansion.py --dry-run uv run python scripts\plan_hypersim_expansion.py uv run python scripts\materialize_hypersim_expansion.py ` --stage all --partitions train val diagnostic_test --workers 2 ``` The materializer is resumable, preserves at least 100 GiB free by default, and refuses to touch `final_holdout` without the explicit `--allow-final-holdout` release flag. Before a main run, execute the real-data plumbing smoke and one-window overfit gate: ```powershell uv run mcss train --config configs\hypersim_er_smoke.yaml uv run mcss train --config configs\hypersim_er_mainres_smoke.yaml uv run mcss train --config configs\hypersim_er_overfit.yaml ``` New JSONL logs include current, log-window mean, and EMA losses together with epoch progress, learning rate, gradient norm, AMP scale/update status, scene IDs, modality validity, step time, peak CUDA memory, evidence/unknown means, completion-gate use, and density/color residual energy. Only after the overfit loss shows sustained reduction should the 150,000-microstep main config be started with `configs\hypersim_er_train.yaml`. To locate an RGB representation ceiling before changing the production model, run the diagnostic-only appearance oracle against the accepted one-window checkpoint: ```powershell uv run python scripts\run_appearance_oracle.py ` --config configs\hypersim_er_overfit.yaml ` --checkpoint outputs\hypersim_er_v4_scale4_overfit\checkpoints\step_005000.pt ` --output-dir outputs\appearance_oracle_v1 ` --steps 1000 ` --learning-rate 0.05 ``` This command intentionally optimizes hidden target RGB labels to estimate three unattainable capacity ceilings: native shared color, doubled-resolution shared color, and one native color volume per target view. Its outputs are diagnostics only. They are not model results, must not be compared with baselines, and cannot be used on validation or test partitions. The converged oracle selected doubled spatial appearance resolution: native shared color reached 19.04 dB, native per-view color 19.16 dB, and doubled-resolution shared color 22.17 dB. V5 therefore adds only a typed high-resolution evidence-residual appearance field; it does not add a directional or target-view-specific state. Run its gates in order: ```powershell uv run mcss train --config configs\hypersim_er_v5_appearance2x_smoke.yaml uv run mcss train --config configs\hypersim_er_v5_appearance2x_mainres_smoke.yaml uv run mcss train --config configs\hypersim_er_v5_appearance2x_probe.yaml uv run mcss train --config configs\hypersim_er_v5_appearance2x_overfit.yaml uv run mcss evaluate --config configs\hypersim_er_v5_appearance2x_overfit.yaml ` --checkpoint outputs\hypersim_er_v5_appearance2x_overfit\checkpoints\step_005000.pt ``` Do not start `configs\hypersim_er_v5_appearance2x_train.yaml` until the fresh 5,000-step V5 overfit result is evaluated. Its validation companion is `configs\hypersim_er_v5_appearance2x_val.yaml`. ### V5 context-subset geometry consistency The approved next direction is an opt-in training-only consistency path attached directly to the unchanged V5 evidence-residual state. It removes one of the four context views, reuses the same encoder and fixed renderer, and compares only counterfactual depth and visibility against a detached full-context prediction on evidence-supported overlap. It does not add a model module, state-dict key, target-label input, RGB consistency term, or inference branch. The strict design and gates are in [`docs/superpowers/specs/2026-08-14-v5-context-subset-geometry-consistency-design.md`](docs/superpowers/specs/2026-08-14-v5-context-subset-geometry-consistency-design.md). The default `context_subset_geometry_weight` is zero, so existing V5 configs retain the original training path. Run only the self-contained CPU software smoke while validating the implementation: ```powershell uv run mcss train --config configs\synthetic_er_v5_context_subset_geometry_smoke.yaml ``` `configs\hypersim_er_v5_context_subset_geometry_train_v1.yaml` is a frozen, unexecuted **10,000 micro-step diagnostic pilot**, not the 150,000-step main run. It matches the V5 four-context/two-target Hypersim protocol with weight `0.1` and the existing 3,000-update warmup. Do not start it until the design's one-window capacity, held-out context-drop, and eight-scene validation gates are predeclared and evaluated. A lower consistency loss alone is not evidence that it should replace V5. ## Current evidence boundary The new geometry-certificate frontend has completed its pre-registered zero-training audit and is sealed as `STOP_CERTIFICATE_FRONTEND`. Across 32 hash-selected Hypersim development-train scenes, its certified source-grid coverage was 2.60%, median post-hoc 3D error was 1.52 m, p90 error was 12.24 m, and view-permutation point delta was 1.10 cm. These fail the frozen 15%, 0.25 m, 0.50 m, and numerical-invariance gates. Do not attach this exact LoFTR plus reciprocal/cycle/DLT frontend to the state or train it. The result and full report are under `outputs/geometry_certificate_audit_v1/`; the failure seal is `docs/superpowers/specs/2026-08-12-geometry-certificate-frontend-failure-seal.md`. This failure does not alter the original context-to-typed-state-to-fixed-renderer backbone. It rules out the current sparse certificate inlet. It blocked further code changes until a new direction was discussed and approved; the 2026-08-14 V5 context-subset design discharges that approval checkpoint without reopening the failed certificate branch. The approved V7 branch qualifies a frozen MapAnything model as an external observation supplier. It reads only context RGB and known cameras, seals structured supplier and certificate caches, and opens context depth only for post-hoc evaluation. It does not modify the typed state, renderer, or training loop. Both MapAnything and its DINOv2 architecture-code dependency are pinned and verified locally; independent DINOv2 weights and remote hub loading are forbidden. Run the pinned audit with: ```powershell uv sync --extra dev --extra mapanything uv run python scripts\run_mapanything_geometry_audit.py ` --config configs\hypersim_mapanything_geometry_audit.yaml ``` The frozen contract is in `docs/superpowers/specs/2026-08-12-v7-mapanything-certified-observation-design.md`. The accepted V4 geometry checkpoint reaches depth AbsRel 0.00918, mean normal error 6.39 degrees, point F-score@0.25 m 0.9934, and RGB PSNR 18.19 dB. The V5 implementation keeps that geometry and adds a doubled-resolution typed appearance field selected by the training-only oracle. Its 200-step real-data probe reduces the RGB training term from 0.1776 at step 10 to 0.0795 at step 200, versus 0.0932 for V4 at the same step, while keeping native and appearance evidence exactly invariant. This is a capacity probe, not a final metric. The fresh V5 5,000-step overfit remains the next gate. The full 365-scene train, 46-scene validation, and 20-scene diagnostic-test partitions are prepared; the 26-scene final holdout remains unmaterialized and sealed. No main-run, matched-baseline win, or CVPR-level empirical claim has been established yet. ## 2026-09-27 三维小规模工程训练 已完成3个train场景上的100步静态+30步写入训练,生成新的 `mcss.dynamic.v1` 权重。严格重载与写入重放通过;全套测试561 passed、1 skipped。一个场景因固定体积缺乏多视图候选支持而全部写入梯度为零,保留负例;当前仅工程可用,未取得独立静态/泛化资格。 详见 [训练报告](docs/experiments/EXP-3D-20260927-small-training-v1/README.md) 和 [权重索引](docs/experiments/EXP-3D-20260927-small-training-v1/checkpoint_index.json)。 --- Source file: ROADMAP.md Raw URL: https://raw.githubusercontent.com/KennyMcSimpson/measurement-scene-state/main/ROADMAP.md # Roadmap and gates 这不是“把所有代码继续跑一遍”的清单,而是防止把错误反馈目标包装成方法提升的门槛。 ## Gate 0:公开档案可复核 - 保持协议、split、代码 hash、命令和结果 bundle 一致。 - 公开仓库不含数据、权重、缓存、凭证或未授权的大文件。 - 合作者能从 README 找到原始思路、失败实验、当前结论和下一步。 ## Gate 1:修正二维评价载体 - 在新的 development split 上提高 token-grid 分辨率,或采用经过验证的 dense readout。 - 量化小目标 token 数、最近邻改变率和对象标签改变率。 - 若收益主要由单一 tiny-object 视频造成,停止把它作为主方向证据。 ## Gate 2:寻找合法的 task-grounded feedback - 冻结当前 backbone、readout 和写入规则。 - 只比较部署时可取得的 RGB residual、跨观测一致性、cycle consistency、写入幅度和历史。 - 拟合允许 `OFF` 的简单 gate;与 OFF、固定 OFF/ALL 和有限 oracle 同时比较。 - gate 必须在新封存 validation 上有跨序列收益,不能只改善 RGB MSE。 ## Gate 3:恢复三维主线的协议完整性 - 修复非刚性 frame-0 camera protocol、policy feature roll-in 和 matched-compute 对照。 - 先通过一场景 metadata/camera adapter gate,再谈 DL3DV 外部评估。 - 保持 V5 与 R0 的诊断边界,不把工程 smoke 当 scientific performance。 ## Gate 4:完整方法和最终评测 - 明确定义共享状态、真实观测检查接口、动态动作空间、状态回滚和错误写入代价。 - 新建并封存 validation/holdout,至少多 seed、强 baseline、完整官方指标和成本核算。 - 只有通过这些门槛,才使用 `OFFICIAL_BENCHMARK` 或 `FINAL` 证据标签。 --- Source file: docs/research_summary_20261003.md Raw URL: https://raw.githubusercontent.com/KennyMcSimpson/measurement-scene-state/main/docs/research_summary_20261003.md # 阶段总结(2026-10-03,hit) 本文汇总 2026-10-02 至 10-03 在 hit 上完成的实验。逐条记录见 [STATUS.md](../STATUS.md) 与 [EXPERIMENTS.md](../EXPERIMENTS.md);每个实验的计划、协议、预注册与完整性记录都在各自的 `outputs/` 目录中。所有主判定都是预注册的,探索性分析均已标明。 **13:00 修订:** 加入 Core B V9、V24、V25;13:45 再加入 V27;15:05 加入 Core B V10;18:05 加入 V26(第 1 节)与 V29(第 2.2 节);10-04 01:10 加入 Core B V11、V28(第 2 节、第 2.1 节)与 V30(第 2.2 节),第 4 节随之更新;05:00 加入 V31,06:40 加入 V32 与 V33(第 1 节、第 4 节)。V24、V25 把 Core B 与使用同样帧的无模型基线比较,改变了对 Core B 实际意义的判断,第 2.1 节与第 4 节据此改写。 ## 1. Core A:静态补全 carrier **问题:** 静态 carrier 在上下文没有观测到的区域(FAR)上的补全,平均优于调和插值,但只在约 2/3 的场景上成立。能否让它更好、更一致? | 杠杆 | 实验 | 结果 | |---|---|---| | 加宽(32 → 64) | V12、V15、V19、V20、GPU 试点 | 无作用 | | 加训练场景(72 → 127) | V14、V15、V18、V20 | 无作用,6000 步时有害 | | 加长训练(6000 → 24000 步) | V17–V20 | FAR +0.04–0.06,约 2/3 的场景变好;约 24000 步饱和 | | 同一批场景的片段多样性 | V21 | 无作用,略有损害 | | 训练光线集中在 FAR 像素(每个角色 75%) | V26(预注册,GPU,24000 步) | 未确立:主队列 FAR +0.020 [−0.005, +0.051],只有 42/80 个场景变好;EVAL-FAR 与 FRESH-V2 上方向相反 | | 预训练视觉特征(DINOv2 ViT-S/14,经初值为零的旁路) | V31(预注册,GPU,24000 步) | 未确立:FAR +0.004 [−0.014, +0.024],只有 36/80 个场景变好;EVAL-FAR 与 FRESH-V2 上略差 | | 覆盖整个体积的三维上下文(U-Net 残差分支) | V32(预注册,GPU,24000 步) | 未确立:第 24000 步 FAR −0.002(36/80 个场景变好);第 6000 步好 +0.018(57/80),只是学得更快;EVAL-FAR、FRESH-V2 上略差 | | 深度读出(深度除以不透明度) | V22(预注册,EVAL-FAR) | 长训练增益约 2/3 来自未归一化的深度读出;远处 query 上剩约 +0.02 的真实改进 | | 只用上下文的测试时精修 | Core B V6、V23、Core B V7 | 时有时无(TRAIN-EXT 支持,EVAL-V3/V4 与 EVAL-V5 未确立),对 FAR 补全没有帮助 | **事后诊断(探索性,`outputs/EXP-3D-RGBD-POSTHOC-DIAG-V1`):** - 补全在场景之间的不一致不是 seed 噪声,而是场景本身的性质:约 1/8 的难场景会被长训练稳定地变差,问题出在状态体积内部、上下文没有观测到的区域。 - 长训练增益最大的,是 FAR 表面落在状态体积之外的场景;那里的增益主要来自把不透明度补满。 ## 2. Core B:动态写入(流式到达的新帧) **问题:** 新帧到达时,往快速权重里写入,能否胜过只把新帧缓存进多视角融合? | 实验 | 队列 | 写入方式 | 超出只缓存的增益 | 结论 | |---|---|---|---|---| | V1–V3 | DEV | 学到的写入规则 | ≈ 0 | C | | V4 | DEV(8) | 梯度 TTT,10 步 | +0.0115 | A | | V5 | EVAL-V3∪V4(83) | 10 步 | +0.0079 | A | | V6 | TRAIN-EXT(55) | 10 步 | +0.0148 | A | | V7 | EVAL-V5(23,全新) | 100 步 | +0.0150(10 步 +0.0068) | P2 SUPPORTED | | V8 | EVAL-V3∪V4(83) | 100 步 | +0.0213(73/0/10;10 步 +0.0079) | P1 SUPPORTED | | V9 | TRAIN-EXT(55) | 100 / 300 步 | +0.0355 / +0.0396(51/4、48/7) | D | | V10 | EVAL-V3∪V4(83) | 100 步,另外三个 carrier | +0.0244 / +0.0286 / +0.0327 | A | | V11 | EVAL-V3∪V4(83) | 每到一帧写 25 步(共 100 步) | +0.0145(68/0/15;一次性 +0.0213) | B | | V28 | Replica(8,跨数据集) | 100 / 1000 步 | +0.0250 / +0.0450(7/0/1) | B | - **TTT 的设置:** 10 步是 Core B V4 在 TRAIN 上选出的。carrier 正是在 TRAIN 场景上训练的,在那里更多的步数有害;在没见过的场景上,100 步的增益约为 10 步的两倍(V23 的剂量臂,V7 确认)。 - **场景特异性:** 每一轮"写入别的场景的增量"都明显更差;100 步时,别的场景的增量甚至比只缓存还差(V7:+0.0228,22/1)。 - **增益落在哪里:** 10 步时几乎都在已观测的区域(NEAR);100 步时也扩展到上下文没看到的区域(V7:FAR +0.017)。 - **新帧监督 vs 上下文监督(V8,83 个场景):** - 新帧都已缓存时,用新帧监督比用上下文监督多 +0.0114 [+0.0053, +0.0180],CI 不含 0,但只有 69% 的场景不变差(PARTIAL);V6、V7 的点估计同样为正; - 100 步的总增益(+0.021)约一半来自对状态的一般性精修(上下文监督 +0.010),另一半来自新帧的信息; - 在上下文没看到的区域,上下文精修的贡献为 0,改善(+0.019)全部来自新帧监督; - V9 在 TRAIN-EXT 上重现:+0.0162 [+0.0038, +0.0296],但只有 67% 的场景不变差,仍为 PARTIAL。 - **carrier 的通用性(V10):** 宽度 32/64 × 训练数据 TRAIN72/TRAIN127 的四个 carrier 上,写入都稳定胜过只缓存(三个新 carrier 都 SUPPORTED);宽度越大增益越大(+0.0078,CI 不含 0),训练数据的作用不确定。 - **剂量(V9):** 300 步比 100 步只多 +0.0041 [−0.0033, +0.0096](44/11),未确立,增益在 100 步附近基本饱和。 - **逐帧在线写入(V11):** 每到一帧写 25 步,保住了一次性写入增益的约 2/3;回放已到达的旧帧没有帮助,只监督最新一帧同样好。 - **跨数据集(V28,Replica):** 只在 Hypersim 上训练的 carrier 在 Replica 上与常数预测相当(0.445 对 0.411),写入仍稳定改进它(7/8 个场景),但归一化读出下增益只剩 +0.005(CI 跨 0)。 ## 2.1 与使用同样帧的无模型基线比较(V24、V25,CPU 重新计分) 流帧也是测得的 RGB-D。把 3 个上下文帧与 4 个流帧(共 7 帧)的测得深度重投影到 query、再用调和插值补洞,就得到只用同样测量的无模型基线(REPROJ7_HARMONIC)。实际可用的方法是混合:距重投影命中 8 像素以内(NEAR7)用调和插值,其余像素用 carrier。 | | 近处 query(V24,EVAL-V3/V4,83) | 远处 query(V25,EVAL-FAR,79) | |---|---|---| | NEAR7 占有效像素 | 93.8% | 87.1% | | 无模型基线 REPROJ7_HARMONIC | 0.175 | 0.194 | | 只用 carrier(TTT_100) | 0.186(只在 19/83 个场景更好) | 0.214(25/79) | | 混合 HFILL8_7(TTT_100) | 0.167 | 0.179 | | 混合相对无模型基线 | +0.008,31/19/33,PARTIAL | +0.015 [+0.002, +0.030],35/14/30,PARTIAL | | 写入在混合里的作用 | +0.0001,未确立 | +0.0004,未确立 | - 新帧带着测得深度到达时,直接重投影就覆盖了 query 的绝大部分像素,单靠它就胜过带写入的 carrier。 - 写入改善的主要是测量已经覆盖的像素,所以在混合里几乎不起作用;carrier 内部的写入增益仍然稳定(远处 query 上 +0.010,58/21)。 - carrier 的实际贡献在测量覆盖不到的像素上:平均为正,但只在约 60% 的场景成立;归一化读出的混合最好(远处 query 上 +0.020,40/14/25),也未达到一致性门槛。 - **V27(新队列:TRAIN-EXT 55 个场景与 EVAL-V5 23 个场景):** 混合相对无模型基线只有 +0.0013(36/19/23,未确立),V24 的 PARTIAL 没有重现;在 V24、V25 数据上探索出的"FAR7 取更远深度"规则也没有重现(+0.0003)。写入在 FAR7 像素上仍然有用(+0.028,CI 不含 0),但这些像素只占约 5%。 - **V28(Replica):** 7 帧 NEAR 只占 70%,但 carrier 在其余像素上远不如调和插值,混合方法比无模型基线(0.062)差 0.147(1/0/7,HARMFUL)。 ## 2.2 新帧没有深度时(V29、V30) 无模型基线依赖新帧的测得深度。V29(EVAL-V3/V4,83 个场景,GPU)让 4 个流帧只有 RGB 与相机,状态封存之前从未读取它们的深度: | 全部像素的 AbsRel | | |---|---| | 不加新帧(NO_STREAM) | 0.269 | | 只用上下文精修 100 步(CTX_TTT_100) | 0.251 | | 缓存没有深度的新帧(OFF_RGB) | 0.308 | | 缓存后再写入 100 步(TTT_RGB_100) | 0.295 | | 不缓存,只用新帧 RGB 监督写入 100 步(RGB_SUP_100,V30) | 0.349 | | 不缓存,上下文 RGB-D 与新帧 RGB 一起监督(CTX_RGB_SUP_100,V30) | 0.250 | | 3 帧无模型基线(REPROJ3_HARMONIC) | 0.289 | - 把没有深度的新帧缓存进融合,状态变差 0.039(32 个场景变好、51 个变差);写入挽回 0.013,仍比不加新帧差 0.026 [0.009, 0.045](P1 HARMFUL)。 - 现有 carrier 只在带深度的视图上训练过,没有深度的缓存帧对它是分布外的输入。 - **V30:** 新帧不缓存,只作写入的监督。只用新帧 RGB 监督时状态明显变差(−0.080 [−0.118, −0.046],63/83 个场景变差,HARMFUL);在上下文 RGB-D 监督之外再加新帧 RGB 监督没有作用(+0.0013,35/48)。只有光度监督时,写入为了拟合颜色而破坏几何。 - **探索性诊断(DEV):** 把有效视角比例改为只按带深度的视角归一化,几乎没有作用(+0.002);伤害更可能来自只被 RGB 视角支持、没有深度证据的体素,这在训练中从未出现。 ## 3. 数据与工程 - **EVAL-V5:** 按用户的决定放宽规则(允许 val 划分、允许与 DEV/FRESH 共享 volume),得到最后一批 23 个从未观察过的 Hypersim 场景;它们与 V17 L 的训练集按 volume 不相交。按原来的规则,Hypersim 已经没有可用的新场景。 - **事故(Core B V5):** 冻结的封存屏障每次读取都重算全部状态的哈希,在 664 个状态时变成平方级开销。在写出任何结果之前停止,改用 `CachedSealBarrier` 后重新冻结运行,记录在 `audit/incident_attempt1_slow_seal_barrier.md`。 - **一致性检查:** 每一轮都重新计算全部指标(误差 0),核对状态哈希、封存前的深度访问与旧实验产物;与模型无关的 NEAR 掩码与调和插值都与 V17 封存的数组逐一相同。 ## 4. 结论与下一步 - **Core B 在 carrier 内部成立:** 新帧到达后,用新帧自己的 RGB-D 对快速权重做梯度写入,在 4 个队列(DEV、EVAL-V3/V4、TRAIN-EXT、EVAL-V5)与 4 个 carrier 上稳定胜过只缓存新帧,携带本场景的信息;增益在约 100 步时饱和;逐帧在线写入(V11)与换到 Replica(V28)也成立。 - **但实际意义有限(V24、V25):** 同样的 7 帧测得深度直接重投影,就覆盖了 87–94% 的 query 像素,并胜过带写入的 carrier。在实际可用的混合方法里,写入的作用约为 0;carrier 只在测量覆盖不到的像素上有用,平均为正但只在约 60% 的场景成立,在两个新队列上(V27)连平均优势也没有确立。 - **Core A 与 Core B 汇合到同一个问题:** 测量覆盖不到的区域上,carrier 的补全在场景之间不一致。加宽、加数据、加长训练、加多样性、把训练光线集中到这些区域(V26)、预训练图像特征(V31)、覆盖整个体积的三维上下文(V32)、测试时写入都没有解决这一点。 - **方法上的教训:** 今后每一轮 Core B 的对比,都要把只用同样测量的无模型基线作为必备的参照。 - **新帧没有深度时(V29、V30):** 无模型方法用不上这些帧,现有 carrier 也用不上:缓存它们有害,只用它们的 RGB 监督写入更有害,与上下文监督一起用也没有增益。 - **跨数据集(V28):** carrier 在 Replica 上与常数预测相当,无模型重投影(0.062)远远更好;只在 Hypersim 上训练的 carrier 迁移不到别的数据集。 - **方法探索的现状(10-04):** 机制层面有两条站得住的结论(carrier 在没观测区域上平均优于调和插值、写入在 carrier 内部稳定胜过缓存),但 V17 以来没有一个改动让 carrier 相对无模型基线有稳定的实际提升。瓶颈更可能是结构性的:每个视角只有 8 个从零学出的图像通道,先验只来自 72 个合成场景。 - **V31(预训练视觉特征,分支 C):** 按用户 10-04 的选择接入冻结的 DINOv2 特征,FAR 补全没有变好(+0.004,36/80 个场景变好),描述性队列上略差。图像特征只沿光线提升到体素上,到不了没有观测支持的区域。 - **V32(三维上下文,分支 C):** U-Net 分支让学习更快(第 6000 步 +0.018),但第 24000 步与 G1 相同(−0.002),在其他队列上略差;按预先写定的条件,新队列上的确认(V33)未运行。 - **两个结构性改动之后的判断:** 图像特征(V31)与三维感受野(V32)都不是限制最终补全的主要瓶颈。容量更大时泛化略差,更像是训练数据(72 个合成场景)的限制或任务本身的歧义;训练场景加到 127 个(V18、V20)也没有帮助,需要的数据规模可能要大一个数量级以上。 - **下一步的方向:** 直接针对测量覆盖不到的区域:例如在 carrier 与无模型补洞之间按像素选择(用 TRAIN-EXT 拟合选择规则,在评价队列上检验),或寻找能预测 carrier 何时可靠的量。 --- Source file: docs/handoff/REPOSITORY_MAP.md Raw URL: https://raw.githubusercontent.com/KennyMcSimpson/measurement-scene-state/main/docs/handoff/REPOSITORY_MAP.md # 给合作者和 AI 的仓库地图 ## 先建立正确的模型 这个项目不是一个已经赢得 benchmark 的方法包,而是一个带有历史、负结果和当前机制筛查的研究档案。`STATUS.md` 的证据等级高于任何单个 JSON 里的 `status: complete`。 ## 目录 | 目录 | 内容 | 读者用途 | |---|---|---| | `src/mcss/` | 原来的 Measurement Scene State 代码、dynamic 分支、data/evaluation 模块 | 复现和修改工程代码 | | `src/mcss/vision_probe/` | 当前二维 probe 的特征、几何评价、写入和实验运行器 | 理解逆向 JEPA/动态 TTT 的最小机制接口 | | `scripts/` | 下载、准备、训练、验证、二维分析和诊断脚本 | 找精确命令 | | `tests/` | 合同测试、runner 测试、二维 probe 回归测试 | 先确认接口和隔离 | | `configs/` | 三维训练和 smoke 配置 | 只在对应协议允许时运行 | | `docs/` | 原协议、设计、失败封存、handoff 和 provenance | 研究边界与证据解释 | | `research/ideas/` | 原始方案、合作者讨论、二维切口和首轮报告 | 了解为什么这样设计 | | `research/source/` | ICLR 初稿 PDF | 原始论文材料;不等于已发表 | | `docs/experiments/` | 可公开的小型实验 bundle | 不下载本地大数据也能读懂结果 | | `outputs/` | 本机完整运行产物;默认不进 Git | 追溯本地运行,不作为远程依赖 | | `data/` | 本机数据和权重;默认不进 Git | 按 provenance 下载 | ## 阅读顺序 1. `README.md` → `STATUS.md` → `EXPERIMENTS.md`; 2. `docs/provenance/CLAIMS.md` 和 `docs/provenance/DATA.md`; 3. `research/ideas/CV_逆向JEPA与动态TTT_合作者完整讨论方案_2026-09-17.md`; 4. `docs/experiments/EXP-2D-20260921-corrected/README.md`; 5. 最后才读 `src/mcss/vision_probe/` 和运行器。 ## 当前主问题 真实观测能不能指导“有用的状态修正”,而不是只让 RGB 重建更容易?首轮结果支持反馈通道存在,但 RGB 代理和对象对应目标失配。下一步是高分辨率评价 + OFF-aware task-grounded gate,不是直接加大训练。 --- Source file: docs/handoff/SHARED_WORKSPACE.md Raw URL: https://raw.githubusercontent.com/KennyMcSimpson/measurement-scene-state/main/docs/handoff/SHARED_WORKSPACE.md # 共享仓库交接:2026-09-27 新增代码、测试与研究报告一起提交。旧报告保留当时的结论和运行证据;当前汇总以 README、STATUS、EXPERIMENTS 最新条目为准。 ## 从哪里开始 | 目标 | 入口 | |---|---| | 查看最新3D机制结论 | [已训练权重补测](../experiments/EXP-3D-20260927-trained-state-history-v1/README.md) | | 从零准备数据、训练1000A+600B并复测 | [便携复现说明](3D_REPRODUCTION.md),`bash scripts/reproduce_small_3d_pipeline.sh outputs/my-new-run cuda` | | 查看权重规格与记录的SHA256 | [checkpoint索引](../experiments/EXP-3D-20260927-centered-training-1000a-600b-v1/checkpoint_index.json) | | 二维V2及其阻塞原因 | [V2报告](../experiments/EXP-2D-opportunity-selector-v2-20260926T015728+0800/README.md) | | 二维最后一次事后公平基线分析 | [follow-up](../experiments/EXP-2D-followup-20260927/README.md) | 3D最新权重可运行,但静态资格未建立;同场景留出帧的有益history flip为0/3。二维V2仍缺独立确认。请勿把工程测试或oracle正值描述为泛化成功。 ## 报告与本地资源 七份较大的JSON/JSONL/CSV报告使用确定性gzip无损压缩,从约92 MB缩小到约9.4 MB。克隆后运行: ```bash python scripts/restore_report_artifacts.py --check python scripts/restore_report_artifacts.py ``` 脚本按 `docs/report_artifacts.json` 同时校验压缩文件和原文SHA256,只恢复到原报告路径;已有文件内容不同会拒绝覆盖。解压文件被Git忽略。报告中的旧CHECKSUMS可能引用当时完整本地输出,因此不是整个Git checkout的文件清单;本次提交范围见 `docs/publication_manifest.json`。 数据、checkpoint、`.venv`、`outputs/` 不提交。checkpoint索引中的绝对路径是原机器的历史位置,不是下载链接。其他协作者按便携脚本重建;跨硬件重训不保证相同权重hash。如需确切历史权重,应由持有者另行传输并按索引校验。原来报告、锁、dirty.patch中的绝对路径及源码hash作为历史证据保留,不要批量改成新路径或把它们当新机器可直接执行的命令。 ## 环境与检查 训练复现使用 `uv.lock`,Python3.11/3.12;3D脚本依赖受控范围的Hypersim网络下载。CPU代码测试不需要下载数据或权重: ```bash python -m pip install torch --index-url https://download.pytorch.org/whl/cpu python -m pip install -e '.[dev]' python -m pytest -q ruff check . ``` GitHub Actions运行CPU代码测试与报告归档校验;它不执行实验数据下载、GPU训练或正式研究评估。CPU CI从依赖声明安装;准确实验环境使用锁文件。Ruff排除third_party、backups、outputs,避免修改第三方或封存历史源码。缺失旧V5权重的兼容性测试仍明确skip,不能用dynamic权重替代。 ## 多人修改约定 1. 开工先 `git fetch origin`,从最新main建立个人分支;合并通过PR,避免多人直接改同一工作目录。 2. 新实验用新目录,固定配置、数据范围、评价规则和checkpoint后再运行;不要覆盖旧raw、失败日志或封存集。 3. 代码改动带相关测试,更新README/STATUS入口;未经验证的结果标清scope。 4. 不提交数据、权重、环境、秘密凭据;新增较大报告采用同样可校验归档策略。 5. 历史协议中的工具路径可能属于旧机器;以新的便携入口为实际执行起点。 --- Source file: docs/handoff/3D_REPRODUCTION.md Raw URL: https://raw.githubusercontent.com/KennyMcSimpson/measurement-scene-state/main/docs/handoff/3D_REPRODUCTION.md # Reproduce the three-scene 3D training and mechanism diagnostic This entry point rebuilds the small `mcss.dynamic.v1` carrier from scratch. Trained weights, downloaded media, environments, and machine-specific output trees are **not included in Git**. The pipeline requires network access for dependencies, pinned calibration metadata, and selected Hypersim archive members. It does not require V5, DINOv2, or other pretrained weights. ## Fresh clone From a checkout of this repository, install `uv`, use Python 3.11 or 3.12, and initialize the repository's declared submodules. The optional local `map-anything` package is referenced by the dependency configuration; initializing submodules avoids a missing local package path during environment setup. ```bash git submodule update --init --recursive uv sync --frozen --extra dev bash scripts/reproduce_small_3d_pipeline.sh outputs/my-3d-attempt-01 cuda ``` The script locates the repository from its own location, creates a **new** output directory, repeats the frozen environment sync, and logs every stage. Supply `cpu` instead of `cuda` for CPU execution. Relative output paths are resolved from the repository root. A CUDA-capable PyTorch installation and compatible NVIDIA driver are needed for `cuda`; this tiny configuration was exercised on an RTX 5090, but the script does not promise identical timing or bitwise results on different hardware. The script itself does not update Git or submodules. For its argument summary: ```bash bash scripts/reproduce_small_3d_pipeline.sh --help ``` ## What gets downloaded Calibration and the upstream license are fetched from Hypersim commit `3463c5c4a75f3cbfc65ed31cfd6e87204b3a2254`, with expected SHA256 checks embedded in the script. Metadata provenance is saved under the new run's `metadata/` directory. See the [upstream Hypersim repository](https://github.com/apple-aiml-research/ml-hypersim) for dataset terms and provenance. The acquisition command is: ```bash .venv/bin/python scripts/prepare_small_3d_pilot.py \ --output outputs/my-3d-attempt-01/data \ --calibration outputs/my-3d-attempt-01/metadata/metadata_camera_parameters.csv \ --partitions configs/hypersim_er_partitions.csv ``` This exact preparer permits only `ai_001_001`, `ai_002_001`, and `ai_003_001`, checked against the existing **train** partition. It selects camera `cam_00`, the first 16 jointly available RGB/depth frames, camera poses and scale metadata, and first-frame world positions for calibration verification. It downloads historical preview JPEG RGB and metric ray-distance depth, then prepares 128×160 samples with calibrated intrinsics and a native geometry check. In the recorded run, the selected frame IDs were 0–15. Frame selection is based on archive availability, not image quality or scores; changed or insufficient upstream contents are not silently replaced. Selected members are fetched through exact HTTP Range requests; full-archive fallback is forbidden. Limits include 64 MiB per range request, a shared 2 GiB response budget per attempt, and a 2 GiB bound on the planned sum of compressed and uncompressed members. The original successful acquisition transferred about 20 MB; this is historical evidence, not a future bandwidth guarantee. Dependency/submodule downloads are separate and can be substantially larger. No dev, diagnostic-test, reserve, or final-holdout scenes are opened. Prepared manifests contain absolute paths **generated on the current machine**. They work in a fresh checkout without historical home-directory paths, but moving an already prepared run requires regenerating or explicitly rebasing and re-auditing its manifest; copying a historical manifest is not sufficient. ## Training and evaluation commands The shell entry point writes the exact training configuration: seed `20260927`, 1,000 static steps at `1e-3`, 600 write steps at `3e-4`, gradient clip 1, renderer 64 samples and chunk size 2048. Geometry is explicitly `anchor-centered`, bounds `[-6,-4,-6]` to `[6,4,6]`; omitting that flag selects the old forward-only geometry. After successful preparation, the equivalent training and audit commands are: ```bash .venv/bin/python scripts/train_small_3d_pilot.py \ --manifest outputs/my-3d-attempt-01/data/manifest.json \ --config outputs/my-3d-attempt-01/training_config.json \ --spatial-mode anchor-centered --device cuda \ --output-dir outputs/my-3d-attempt-01/training .venv/bin/python scripts/audit_small_3d_training.py \ --training outputs/my-3d-attempt-01/training \ --expected-a 1000 --expected-b 600 \ --output outputs/my-3d-attempt-01/training_audit.json .venv/bin/python scripts/run_trained_3d_mechanism.py \ --manifest outputs/my-3d-attempt-01/data/manifest.json \ --checkpoint outputs/my-3d-attempt-01/training/phase_b_final.pt \ --output outputs/my-3d-attempt-01/mechanism --device cuda .venv/bin/python -m pytest -q ``` Training starts from the fixed seed; it does not resume a historical checkpoint. `training/` contains `initial.pt`, `phase_a_final.pt`, `phase_b_final.pt`, optimizer/RNG snapshots, locks, access logs, and training/evaluation records. Optimizer snapshots are audit artifacts: this training CLI has no exact-resume flag. The strict checkpoint loader checks both architecture and geometry/config consistency. Context A is `[0,1,2]`; context B is `[0,3,4]`, sharing only anchor 0. Training streams are `[5,6]`, with supervised training queries `[12,13,14,15]`. The mechanism run uses continuation 7, primary frame-held-out queries `[8,9]`, and a separately reported secondary cohort `[12,13,14,15]`. All 33 candidate states are sealed before evaluator query decoding. Query file hashes and metadata are available for provenance before sealing; this is a numerical information-flow boundary, not an operating-system access sandbox. ## Interpretation and retained failures All three scenes were used for optimization. Primary queries were withheld from optimizer supervision, but **there are no independent development or test scenes**. This reproduces a post-hoc training-scene diagnostic, not a generalization confirmation. The documented final model still lacks static qualification and a sufficiently trained R-Residual control. Natural-history evaluation and controller training remain skipped. Positive oracle bounds do not establish deployable write gains; numerical FC/CF differences do not establish useful history-conditioned control. Every pipeline attempt requires a new output directory. On network, calibration, training, or test failure, the script stops and preserves partial files and the stage log. It never deletes a failed attempt, enlarges the data search, retries with altered metrics, or downloads a complete archive. To retry the whole pipeline, choose a new directory, for example `outputs/my-3d-attempt-02`; network budgets apply separately to each attempt. If only tests fail, investigate and record an explicit second test invocation to `pytest_attempt2.log` without erasing the first. Reusing a successful data preparation with new training/evaluation output directories is possible through the commands above. Do not rerun a failed preparer into its existing directory. The repository's optional legacy V5 checkpoint test may skip when the old V5 artifact is absent; the newly generated dynamic checkpoint is a different architecture and must not be substituted for it. --- Source file: docs/provenance/CLAIMS.md Raw URL: https://raw.githubusercontent.com/KennyMcSimpson/measurement-scene-state/main/docs/provenance/CLAIMS.md # 证据标签 - `CONTRACT`:接口、输入输出、状态隔离或禁止标签泄漏由测试直接覆盖。 - `ENGINEERING`:代码、保存恢复、运行器、hash 或 CUDA smoke 已通过;不代表科学性能。 - `DEVELOPMENT`:固定开发划分上的结果,可用于选协议或发现问题。 - `EXPLORATORY`:低成本机制筛查,允许结果为负;不能当最终方法结论。 - `DIAGNOSTIC_ORACLE`:使用答案、目标标签或有限搜索暴露机会/上界;不可部署。 - `STOPPED`:门槛失败后停止的分支;失败本身是要保留的证据。 - `SEALED`:数据或 split 已声明保留但本次没有读取。 - `OFFICIAL_BENCHMARK`:官方协议、封存测试、强 baseline、完整指标和成本都满足。 - `FINAL`:多 seed、外部/封存测试、预注册主终点和复现包都满足。 本仓库目前没有 `FINAL` 或 `OFFICIAL_BENCHMARK` 的完整逆向 JEPA + 动态 TTT 结果。 --- Source file: docs/provenance/DATA.md Raw URL: https://raw.githubusercontent.com/KennyMcSimpson/measurement-scene-state/main/docs/provenance/DATA.md # 数据和权重 provenance ## DAVIS-2017 trainval 480p - 官方页面:[DAVIS 2017 code](https://davischallenge.org/davis2017/code.html) - 下载地址:`https://data.vision.ee.ethz.ch/csergi/share/davis/DAVIS-2017-trainval-480p.zip` - archive size:832,766,765 bytes;本地 SHA-256:`e3d0b5b77c3d031b000a19e0e25e3e2cac65d183755601bc2cf066df1a2aa492` - 本地记录说明:HTTP Content-Length 与文件大小一致;SHA-256 是本地完整性记录,不是发布方官方 checksum。 - 解压统计:6208 JPEG + 6208 PNG;官方 train 60、val 30,二者无交集。 - probe split:train 序列名按 UTF-8 SHA-256 排序后 fit 24、discovery 12、validation 16、reserve 8;官方 val 30 全部 sealed。 - 标签:mask 只在下游评价读取,不参与写入或无标签 action selector。 ## DINOv2-S/14 - 官方代码:[facebookresearch/dinov2](https://github.com/facebookresearch/dinov2) - 权重地址:`https://dl.fbaipublicfiles.com/dinov2/dinov2_vits14/dinov2_vits14_pretrain.pth` - 文件大小:88,283,115 bytes;本地 SHA-256:`b938bf1bc15cd2ec0feac3a1bb553fe8ea9ca46a7e1d8d00217f29aef60cd9` - 运行方式:显式本地 checkpoint,`pretrained=False`,eval/frozen;224×224 输入,16×16×384 patch feature。 ## 已清理的三维数据 旧 Hypersim 和 DL3DV 数据按用户授权清理。删除路径、文件数、总字节数和独立核验保存在本地输出目录;公开仓库不包含这些数据。删除证据为 433,375 files / 293,934,856,380 bytes,六个精确目标均确认 absent。 ## 许可证和可再分发边界 数据、预训练权重和第三方源代码分别遵循各自来源条款。仓库不把下载内容复制进 Git;脚本和 manifest 只记录来源、版本、大小、hash 和 split。 --- Source file: docs/PROTOCOL.md Raw URL: https://raw.githubusercontent.com/KennyMcSimpson/measurement-scene-state/main/docs/PROTOCOL.md # Experimental Protocol ## Main setting - Static, calibrated sparse-view reconstruction. - Context is 2 or 4 RGB images; target RGB is withheld at inference. - Target queries use known intrinsics and camera-to-world matrices. - The main A+ state is anchored to the first preselected context camera and uses fixed metric local bounds from the experiment config. - Main outputs are metric ray depth, anchor-frame normal, anchor-frame point map, and local visibility. RGB is auxiliary and is reported separately. ## Spatial protocol `context_local_metric` is the main protocol. Context and target cameras are rigidly expressed in the first context camera frame. The anchor is chosen before target labels are loaded. The fixed local bounds determine state extent, voxel spacing, ray sampling, and the query-only support mask. Target RGB, depth, normal, point, visibility, and manifest bounds cannot affect those choices. Target depth or point labels are used only after the query and support are fixed. If the observed surface lies outside the local state, its local visibility label is zero, geometry labels are invalidated, and auxiliary RGB uses the renderer background. The query remains in the protocol. Report both query support coverage and the fraction of locally visible target surfaces so local cropping cannot be hidden as an accuracy gain. `legacy_manifest_bounds` is retained for reproducing old pilots and as a privileged/oracle control. Prepared manifest bounds may contain geometry aggregated from every frame and therefore cannot be used by the main A+ result. The Hypersim A+ config uses a `12 x 8 x 12 m` local support and a `[48,32,48]` grid, which gives `0.25 m` spacing on every axis. A future `24 m` candidate range denotes maximum ray distance, not a `24 m` cube side length. A+ uses BF16 autocast on supported CUDA devices because the density- gradient normal path can overflow FP16 dynamic loss scaling on nearly flat initial states. ### Hypersim camera and normal consistency check The prepared validation split was checked by backprojecting metric ray depth, taking central differences of neighboring world points, and comparing the resulting surface-normal axis with the provided world normal. The check used three frames from each of 20 validation scenes and retained 924,413 locally continuous interior pixels. A horizontal-FOV sweep of 50/55/60/65/70 degrees gave median angular errors of 3.79/2.22/1.76/3.08/4.88 degrees, respectively. At 60 degrees, the signed cosine against `cross(dP/dx, dP/dy)` had median -0.99951; the negative sign is expected because OpenCV image y points down while visible outward normals face the camera. This is empirical support that the current 60-degree preview-camera assumption, metric ray depth, pose conversion, and world normals are mutually consistent on the downloaded subset. It is not a claim that the raw subset contains an explicit per-camera intrinsics artifact; the FOV assumption must remain recorded and configurable. ### Cell-centered state semantics Typed state values live at voxel cell centers. World points are therefore sampled with `align_corners=False`, and density finite differences use cell sizes `extent / [W,H,D]`. Checkpoints trained with the earlier boundary-aligned sampler are retained as diagnostic evidence but cannot be combined with this renderer for final comparisons. All corrected A+ configs write to separate `outputs/hypersim_a_plus_v2_cell_centered_*` directories so old and new runs cannot be mixed. ## Evidence-residual state The proposed state architecture is ```text final_state = evidence_base_state + completion_gate * bounded_completion_residual ``` All terms are 3D fields constructed before a target camera is queried. Cross-view feature/RGB agreement over deterministic multi-scale RGB descriptors determines confidence and source-view provenance. The learned image pyramid is reserved for completion features, so an optimizer update cannot lower evidence confidence to obtain a larger residual gate. Unknown probability is one minus confidence and controls completion capacity; a small residual floor permits correction in observed regions. This is not target-image residual warping, and RGB-only input is not claimed to directly observe free space. The JSONL log reports mean confidence, unknown probability, completion gate, and raw density/color residual magnitude. High-confidence residual rewriting is explicitly penalized. These fields make the evidence/completion decomposition auditable, but the learned feature pyramid and 3D residual network are not claimed to be fully human-interpretable. ## Measurement-complete claim Define a training measurement set `M_train` and an evaluation set `M_eval`. A measurement generalization matrix reports every pair. The key row trains the same fixed state with RGB/depth and evaluates normal, point, and visibility without adding a target-specific head. Report the held-out gap against a seen measurement and the corresponding controls. The primary controls are: 1. `fixed`: explicit state plus parameter-free renderer. 2. `learned_heads`: same context encoder/state capacity, separate learned per-measurement heads. 3. `free_decoder`: same state features plus query origin/direction and a shared learned decoder. External references such as SRT/OSRT, pixelNeRF, pixelSplat, MVSplat, DUSt3R, MASt3R, VGGT, and per-scene 3DGS must be rerun or evaluated under exactly the same split, context count, camera inputs, image resolution, query frames, and metric implementation. Original paper numbers are not directly comparable to this protocol. ## Metrics - RGB: PSNR, SSIM, optional LPIPS. - Depth: AbsRel, RMSE, delta-1. - Normal: mean angular error and 5/11.25/22.5 degree accuracy. - Point map: direct metric MAE/RMSE, support-diagonal normalized RMSE, symmetric Chamfer, and F-score at 0.05/0.25/0.50 m. With a 0.25 m grid, 0.25 m is the resolution-matched primary threshold; 0.05 m is a strict diagnostic. - Visibility: IoU and F1. Each metric must include valid-pixel or valid-point counts and query support coverage. Missing modalities are not silently treated as zeros. ## Mechanism diagnostics - Cross-context consistency: compare predictions from two context subsets on identical queries. - Query permutation: permute target camera order and require output equivariance. - Intervention specificity: alter density or color fields separately and measure intended versus cross-task changes. - No-bypass audit: fixed renderer parameter count is zero and model forward exposes no target labels. - Uncertainty calibration: bin predicted variance and compare coverage/error when uncertainty is enabled. These diagnostics establish inspectable mechanisms; they do not make arbitrary latent channels human-interpretable. ## Leakage controls Do not choose context frames after looking at target RGB/depth. Keep scenes disjoint across train, validation, and test. Do not use target depth or full-scene manifest bounds to choose the anchor, state bounds, coordinate normalization, voxel resolution, ray samples, or query support. Report per-scene and pooled metrics, both support coverages, frame timing, state voxel resolution and metric spacing, number of ray samples, and peak GPU memory. ## Scene splits and decision order - Development train: all 365 official Hypersim train scenes. - Model selection: all 46 official validation scenes. - Failure analysis only: the 20 official test scenes already evaluated by earlier runs. - Final report: the remaining 26 official test scenes, evaluated once after freezing the method, hyperparameters, training budget, checkpoint-selection rule, and metric code. The first three execution gates are: tiny real-data smoke, main-resolution BF16 smoke, and one-window overfit with sustained loss reduction. The expanded main run is not justified merely because more scenes are available. After the overfit gate, use 4 context views, 2 target views, stride 2, 150,000 microsteps, and gradient accumulation 2. Validation may select a checkpoint; neither diagnostic-test nor final-holdout results may feed back into architecture or tuning. --- Source file: docs/DATASETS.md Raw URL: https://raw.githubusercontent.com/KennyMcSimpson/measurement-scene-state/main/docs/DATASETS.md # Dataset Setup ## Replica Official repository: The official v1.0 Windows release is 17 concatenated gzip-tar parts (`partaa` through `partaq`). The current downloader resumes each part and can stream-extract the concatenated archive without creating a second merged tarball. The extracted package contains meshes, textures, and Habitat configuration. It does not by itself define the sparse RGB-D camera trajectories used by this project. Preview the exact plan without writing: ```powershell uv run mcss download replica --root data\replica_raw --dry-run ``` Download and extract after D: has enough space: ```powershell uv run mcss download replica ` --root data\replica_raw ` --extract-to data\replica_assets ``` `prepare replica` expects a rendered sequence with matching RGB/depth files, `traj.txt`, and `cam_params.json`. If the official mesh is the only available input, render a deterministic trajectory with Habitat-Sim first, then pass that rendered directory to: ```powershell uv run mcss prepare replica ` --raw-root data\replica_rendered ` --output-root data\replica_prepared ` --image-height 128 --image-width 160 ``` Do not treat a mesh-only Replica download as a completed training dataset. The adapter raises an actionable error instead of inventing camera poses. ## Hypersim Official repository: The complete image release is about 1.9 TB across hundreds of 1-20 GB scene ZIPs. The downloader uses HTTP byte ranges and extracts only selected members from each official scene archive, so a pilot can request camera metadata, preview RGB, metric depth, and world normals without storing a full ZIP locally. List a pilot request without writing: ```powershell uv run mcss download hypersim ` --root data\hypersim_raw ` --scenes ai_001_001 ai_001_002 ai_001_003 ` --camera cam_00 ` --frames 0 10 20 30 ` --dry-run ``` Execute the selective download: ```powershell uv run mcss download hypersim ` --root data\hypersim_raw ` --scenes ai_001_001 ai_001_002 ai_001_003 ` --camera cam_00 ` --frames 0 10 20 30 ``` Prepare manifests and resized arrays: ```powershell uv run mcss prepare hypersim ` --raw-root data\hypersim_raw ` --output-root data\hypersim_prepared ` --scenes ai_001_001 ai_001_002 ai_001_003 ` --camera cam_00 ` --image-height 128 --image-width 160 ` --frame-stride 5 ``` ### Official-split evidence-residual expansion The expansion is derived from the local official `data/hypersim_raw/official_metadata/metadata_images_split_scene_v1.csv`, not from a hand-written scene list. The planner verifies its SHA-256, reconciles the old subset, and writes: - `configs/hypersim_er_partitions.csv`: every public scene, official split, protocol partition, selected camera, public frame count, and prior-observation flag; - `configs/hypersim_er_final_exclusions.csv`: the 20 test scenes already used for diagnostics and therefore excluded from final holdout. Run a read-only count and storage check, then write the deterministic CSVs: ```powershell uv run python scripts\plan_hypersim_expansion.py --dry-run uv run python scripts\plan_hypersim_expansion.py ``` The verified plan contains 365 train, 46 validation, 20 diagnostic-test, and 26 final-holdout scenes. Eight public scenes have no `cam_00`; the planner records a deterministic alternative camera instead of silently dropping them. With four context views, two target views, and stride two, the planned windows are 16,924 / 2,138 / 959 / 1,235 for those four partitions. Download and prepare train/validation/diagnostic data with restart-safe per-scene checks: ```powershell uv run python scripts\materialize_hypersim_expansion.py ` --stage all ` --partitions train val diagnostic_test ` --workers 2 ` --reserve-gib 100 ``` Re-running the same command skips structurally complete raw and prepared scenes and retries only incomplete work. The final holdout is sealed by default; do not add `final_holdout` or `--allow-final-holdout` until architecture, hyperparameters, and checkpoint selection are frozen. The 2026-08-11 empirical estimate, based on the existing 100 scenes with a 1.25 safety factor, is about 77.6 GiB of additional raw plus prepared data. The adapter converts the official OpenGL camera axes to this project's OpenCV convention and records that conversion in the manifest. The default 60 degree horizontal field of view is configurable; verify it against any camera calibration artifact supplied with your downloaded subset before reporting final numbers. ## Storage and provenance Keep raw archives, prepared manifests, checkpoints, and run outputs in separate directories. Each run should record the exact scene list, camera, frame IDs, context/target counts, resize, bounds, and config file. Never mix a rendered Replica trajectory with a mesh-only split in one result row. Prepared manifests contain legacy scene bounds for backwards compatibility. The main A+ configs do not use those values: localization and fixed metric support are applied when a context/target window is loaded. Existing prepared Hypersim files therefore do not need to be regenerated for the A+ protocol. ## Verified local snapshot The 2026-08-10 local snapshot contains: - Replica v1.0: 17 official archive parts in `data/replica_raw` and all 18 extracted scene assets in `data/replica_assets`. These are mesh/texture assets, not prepared RGB-D trajectories. - Hypersim: `cam_00` preview RGB, metric depth, world normal, and camera metadata for a scene-disjoint 60 train / 20 validation / 20 test subset. - Hypersim prepared data: 5,841 train, 1,993 validation, and 1,999 test frames below `data/hypersim_prepared/{train,val,test}` at 128x160. - Exact Hypersim selection: `configs/hypersim_subset_v1.csv`, derived deterministically from the official `metadata_images_split_scene_v1.csv` scene split. - Evidence-residual expansion (verified 2026-08-11): 431 raw scenes and prepared partitions with 365 train scenes / 35,348 frames, 46 validation scenes / 4,466 frames, and 20 diagnostic-test scenes / 1,999 frames. The resulting 4-context/2-target/stride-2 datasets contain 16,924 / 2,138 / 959 windows. A full idempotent rerun reported 431 complete scenes, zero downloads, zero prepares, and zero failures. - The 26 final-holdout scenes / 2,576 frames remain listed in `configs/hypersim_er_partitions.csv` but are not present below `data/hypersim_er_prepared` or the raw scene root. At verification time D: retained about 265.5 GiB free. Do not point a training config at the parent `data/hypersim_prepared` directory because recursive manifest discovery would combine train, validation, and test scenes.