你现在位于： https://github.com/KennyMcSimpson/measurement-scene-state.git 请基于已经完成的： EXP-3D-STATIC-CARRIER-ATTRIBUTION-V1 EXP-3D-SUPPORT-BOTTLENECK-REDESIGN-V1 执行下一阶段： EXP-3D-DIRECT-STATE-CAPACITY-V1 ============================================================ 0. 本轮唯一研究问题 ============================================================ 当前 frozen B-final carrier 在 unseen/dev 场景上的 shared-state 静态资格没有建立。 上一轮已经证明： 1. volume 会显著改变结果； 2. oracle volume 的正 relative gain 大部分来自 anchor 恶化； 3. oracle candidate support 单独增加并没有改善任务； 4. oracle volume + support 也没有通过预注册稳定性门槛； 5. support / spatial discretization / renderer prior / training distribution 仍然耦合； 6. 当前还不能把失败归因于 support， 也不能直接归因于 representation/training。 因此本轮不再改 support 方法。 本轮只回答： Q1. 当前 typed scene state + fixed renderer 本身有没有足够的表示能力？ Q2. 如果完全绕过 encoder / lifting / fusion / completion， 直接优化 scene state， 能否从 context observations 得到一个在 sealed query 上表现良好的状态？ Q3. 当前 8^3 resolution 是否构成主要容量瓶颈？ Q4. 如果 direct-state 很好但 carrier 很差， 问题是否主要来自 state construction / training？ Q5. 如果 direct-state 自己也很差， 是否应该停止重训当前 carrier， 转而 redesign scene representation / renderer？ ============================================================ 1. 研究纪律 ============================================================ 本轮禁止： - Dynamic TTT - FC/CF - controller - writer - fast-weight updates - action policy - trajectory search - support redesign - candidate allocation redesign - context selector redesign - new carrier training - matched retraining - train-scale-up - final protected holdout - 根据 query score 改 scene/state resolution - 使用 query GT 优化 scene state - 用 test query 选择 optimizer step 本轮不是为了得到正结果。 本轮是 representation-capacity attribution。 ============================================================ 2. 数据角色 ============================================================ 旧 7 个 exposed scenes 和上一轮 10 个 new DEV scenes 都已经被观察过，因此本轮统一作为： CAPACITY_DEV_EXPOSED 只用于 attribution。 不得把它们称为独立验证。 上一轮锁定的 FINAL_HOLDOUT： 继续完全封存。 不得： - forward - render - query score - direct-state optimization - hyperparameter selection 本轮不打开 final holdout。 ============================================================ 3. 创建独立实验目录 ============================================================ 创建： outputs/EXP-3D-DIRECT-STATE-CAPACITY-V1/ docs/experiments/EXP-3D-DIRECT-STATE-CAPACITY-V1/ 至少包含： README.md STATUS.md preregistration.json config.json scene_manifest.json capacity_contract.json optimization_contract.json renderer_contract.json resolution_contract.json direct_state_results.json capacity_analysis.json resolution_analysis.json optimization_curves.json bootstrap_results.json integrity.json tests.json commands.sh git_commit.txt dirty.patch raw/ figures/ audit/ checkpoints/ 不得覆盖旧实验。 ============================================================ 4. 冻结旧 carrier baseline ============================================================ 首先复现当前 frozen carrier： 1000A+600B B-final checkpoint SHA256： be7b8b6d2ef366cad245732b9ff227802db596da65082ac0e160f24541579e42 对 CAPACITY_DEV_EXPOSED 场景重新生成： - A - B - anchor - prior 旧统计必须精确或在数值容差内复现。 如果不能： 停止正式 capacity 实验， 先调查 reproducibility。 ============================================================ 5. 定义 Direct State Optimization ============================================================ 核心要求： 完全绕过： - image encoder learning - lifting network - fuse network - completion network - fast-weight writer 直接把 shared scene state 本身作为可优化变量。 保持 fixed renderer 不变。 对于每个 scene / context： 优化： density logits z(x) RGB color c(x) 以及只有在当前 typed state 中已经正式存在、 且 fixed renderer 必需的最小辅助字段。 不要偷偷加入新的 query-conditioned network。 Direct state 必须仍然满足： 同一个 optimized state → fixed renderer → 多个不同 sealed query 不能为每个 query 单独优化 state。 ============================================================ 6. Query leakage 禁止 ============================================================ Direct-state optimization 只能读取： - context RGB - context camera - 如果本轨允许：context depth 不能读取： - sealed query RGB - sealed query depth - sealed query score - sealed query camera，除非 renderer evaluation 阶段 - future/query visibility mask - query GT geometry - query-derived bounds query camera 和 GT 必须在 state optimization 完成并 seal 后 才能进入 evaluator。 增加强制 loader 隔离。 ============================================================ 7. 两条 capacity 轨道 ============================================================ 必须分开运行： ---------------------------------------- TRACK A — RGB+D DIRECT STATE ---------------------------------------- 允许 context： - RGB - depth - camera 直接优化 state。 这是较强的 representation-capacity diagnostic。 它回答： “如果 context geometry 已知， 当前 state + renderer 能否表示一个能泛化到 query 的 scene？” 不能包装成 RGB-only 方法。 ---------------------------------------- TRACK B — RGB-ONLY DIRECT STATE ---------------------------------------- 只允许： - context RGB - camera 通过 differentiable fixed renderer 做 inverse rendering。 不使用 context depth。 这条轨用于检查： 仅 RGB supervision 下， representation + renderer 是否仍有可达能力。 TRACK A / B 必须分别报告。 ============================================================ 8. 优化目标 ============================================================ TRACK A 推荐： L = λ_rgb L_rgb(context render, context RGB) + λ_depth L_depth(context render, context depth) + 预先固定的最小正则项 TRACK B： L = L_rgb(context render, context RGB) + 预先固定的最小正则项 正则只能用于： - density stability - bounded color - mild spatial smoothness 不能加入 query-derived regularizer。 所有 λ 必须： - 在正式 query evaluation 前冻结 - 只通过 training-side / exposed capacity-dev 的 context reconstruction 行为选择 - 不能使用 sealed query score 调 ============================================================ 9. 先做 Optimization Sanity ============================================================ 在跑 resolution sweep 前， 先确认 direct-state optimizer 真正在工作。 至少检查： - context RGB loss 是否下降 - TRACK A context depth loss 是否下降 - state parameters 是否有梯度 - renderer 输出是否变化 - 没有 NaN/inf - density 没有立即 collapse - opacity 没有全部变成0或1 保存： optimization_trace.csv 包含： step loss_rgb loss_depth regularization opacity grad_norm state_norm context metric 但不能在 query 上 early-stop。 ============================================================ 10. 优化停止规则 ============================================================ 必须预先冻结： - optimizer - LR - max steps - checkpoint intervals - selection rule 推荐： Adam 先用一个小 pilot 确定稳定 LR， 然后整个正式 capacity study 使用同一规则。 禁止： 为不同 scene 单独调 LR。 正式 checkpoint selection 只能根据 context-side objective。 例如： best context objective checkpoint 或者： fixed final step 二选一，预先冻结。 不能根据 sealed query 表现选择。 ============================================================ 11. 第一核心实验：8^3 Direct State ============================================================ 首先完全保持当前 state resolution： 8^3 以及： - current fixed renderer - current ray semantics - current query protocol - current scene bounds protocol 但要注意： 上一轮 oracle volume 表明 bounds 会影响 renderer/prior。 因此本轮必须至少分开： A. CURRENT_BOUNDS B. PREDECLARED_GEOMETRY_BOUNDS 其中 PREDECLARED_GEOMETRY_BOUNDS 必须是 GT-free 或 training-side frozen 规则。 不能使用 sealed query GT bbox。 如果无法定义公平 GT-free alternative： 主 capacity result 使用 CURRENT_BOUNDS， bounds sensitivity 单独做 diagnostic。 ============================================================ 12. Direct-state vs carrier ============================================================ 对每个 scene/context： 比较： CARRIER_FIXED vs DIRECT_STATE_RGBD vs DIRECT_STATE_RGB_ONLY 所有方法使用： - 相同 context - 相同 query - 相同 fixed renderer - 相同 state tensor semantic - 相同 resolution 报告： Depth AbsRel RMSE δ1 RGB MSE SSIM Opacity Coverage 主比较： DIRECT_STATE_RGBD − CARRIER DIRECT_STATE_RGB_ONLY − CARRIER 误差指标中负值 = direct-state 更好。 ============================================================ 13. 最重要的 capacity gap ============================================================ 定义： CAPACITY_GAP = Carrier query AbsRel - DirectState query AbsRel 正值越大： 说明表示本身能做得比 carrier 好， 瓶颈更可能在 state construction / training。 同时定义： ANCHOR_GAP = Anchor query AbsRel - DirectState full-context query AbsRel 如果 direct-state full context 仍然不能稳定优于 anchor： representation/renderer capacity 的嫌疑增大。 ============================================================ 14. Resolution Sweep ============================================================ 只有 8^3 direct-state pipeline 通过 sanity 后， 运行： 8^3 16^3 32^3 如果 32^3 资源过高： 允许： 8^3 12^3 16^3 但必须在开始正式 sweep 前锁定。 不要看结果后增加一个刚好最优的分辨率。 对每个 resolution： - direct state independent - same contexts - same queries - same loss - same optimizer family - same evaluation - same scene set 记录： state parameter count VRAM optimization time renderer time ============================================================ 15. Resolution 不能偷偷增加其他能力 ============================================================ 改变 resolution 时不能同时： - 改 renderer semantics - 改 loss - 改 bounds rule - 改 context selection - 改 optimization objective - 改 scene list 如果更高 resolution 需要更多 renderer samples： 必须单独记录。 最好先固定 renderer sample count， 另做 renderer-resolution diagnostic。 ============================================================ 16. Renderer Capacity Control ============================================================ 为了区分： state resolution vs ray integration resolution 增加一个次要二维矩阵： STATE GRID: 8^3 / 16^3 RENDER SAMPLES: 64 / 128 如果资源允许。 但优先级： state resolution > renderer samples 输出： renderer_capacity_analysis.json 如果增加 renderer samples 几乎不改善 query： 说明 ray discretization 不是主要限制。 ============================================================ 17. Context Memorization Control ============================================================ Direct-state optimization 很容易记住 context。 因此必须同时报告： CONTEXT SCORE 和 SEALED QUERY SCORE 定义： GENERALIZATION_GAP = query error - context error 如果： context 很好 query 很差 说明 representation 只是记住 context， 不代表形成可复用 shared state。 ============================================================ 18. Wrong-scene direct-state control ============================================================ 对 optimized direct state 继续做： wrong-scene replacement 保持 query camera 不变。 如果一个 scene 的 optimized state 换成另一个 scene 后 query performance 几乎不变： 说明 direct-state 也可能主要输出 prior。 报告： WRONG_SCENE_DAMAGE_DIRECT ============================================================ 19. State interpolation / shuffle diagnostic ============================================================ 只作为 diagnostic： A. spatial shuffle B. density-only C. color-only D. zero-density / zero-color E. wrong-scene state 检查 fixed renderer output 是否依赖 scene-specific state structure。 不能把 latent difference 本身当结果。 必须评价 query prediction。 ============================================================ 20. Direct-state oracle variant ============================================================ 允许一个明确标记的： QUERY-SUPERVISED ORACLE STATE 但它只能作为 renderer/state expressivity 的极限诊断。 它允许直接优化 query GT。 目的： 如果连 query-supervised direct state 都做不好： 说明 state + renderer expressivity 本身非常有限。 如果 query-supervised 很好， 而 context-trained direct-state 很差： 说明主要问题更可能是 inverse problem / context information / training objective。 必须放在： DIAGNOSTIC ORACLE 区块。 绝不能与 deployable或context-only结果混排。 ============================================================ 21. 三层 capacity decomposition ============================================================ 最终必须把结果拆成： LEVEL 1: QUERY-SUPERVISED DIRECT STATE 回答： state + renderer 最大表达能力怎样？ LEVEL 2: CONTEXT-SUPERVISED DIRECT STATE 回答： 给真实 context evidence， 直接优化 state 能泛化到 query 多好？ LEVEL 3: LEARNED CARRIER 回答： 网络能否从 context 一次/有限步骤生成好 state？ 于是： L1 → L2 gap 主要反映： context inverse problem / visibility / optimization L2 → L3 gap 主要反映： learned state construction / training 不要声称这是严格因果分解， 但作为 attribution framework 使用。 ============================================================ 22. Resolution capacity 判定 ============================================================ 输出： STATE_CAPACITY_STATUS= SUFFICIENT RESOLUTION_LIMITED RENDERER_LIMITED CONTEXT_INFERENCE_LIMITED LEARNER_LIMITED MIXED INCONCLUSIVE 建议解释： SUFFICIENT: 8^3 context-direct-state 已稳定优于 carrier/anchor， query表现合理。 RESOLUTION_LIMITED: 8^3 direct-state差， 更高grid显著稳定改善。 RENDERER_LIMITED: state grid增加作用小， renderer samples增加明显改善。 CONTEXT_INFERENCE_LIMITED: query-supervised state很好， context-direct-state明显差。 LEARNER_LIMITED: context-direct-state很好， carrier明显差。 MIXED: 多个因素均有明显gap。 ============================================================ 23. 统计 ============================================================ 正式统计单位继续： scene 使用： 10,000 paired scene bootstrap seed 20260927 95% percentile CI 报告： mean median LOSO improved/tied/worse top1 contribution top3 contribution 不要把每个 query 当独立样本。 ============================================================ 24. 不要碰 final holdout ============================================================ 即使某个 direct-state resolution 结果很好： 也不要打开上一轮 final holdout。 因为本轮只是 attribution， 不是方法 qualification。 final holdout 保留给未来： 真正冻结的 redesigned carrier。 ============================================================ 25. 下一阶段 gate ============================================================ 根据结果自动选择下一步。 CASE A Query-supervised direct-state 也很差。 → STOP current representation. → 下一轮 redesign state/renderer。 CASE B Query-supervised 好， context-direct-state 差。 → representation能表达， 但从context恢复state困难。 → 下一轮研究 context lifting / geometry inference。 CASE C Context-direct-state 好， carrier 差。 → representation和context information都够， 主要是 learner/training 问题。 → 下一轮做 matched carrier retraining。 CASE D 8^3差，16^3/32^3明显好。 → resolution bottleneck。 → 下一轮重新设计高分辨率 carrier。 CASE E 8^3 direct-state 已经很好。 → 不要增加 resolution。 → 直接修 learner/training。 CASE F RGB+D好，RGB-only差。 → depth supervision / geometric ambiguity 是重要因素。 → 方法主线需明确 RGB+D 与 RGB-only 边界。 ============================================================ 26. 本轮禁止训练新 carrier ============================================================ 即使发现： LEARNER_LIMITED 本轮也只报告。 不要马上开始 retraining。 因为我们需要先冻结 attribution， 再根据结果单独设计下一训练实验。 ============================================================ 27. Regression tests ============================================================ 至少新增： 1. query GT cannot enter context-only optimizer. 2. query camera unavailable before state seal. 3. RGB-only track cannot load context depth. 4. RGB+D track cannot read query depth. 5. query-supervised oracle explicitly marked diagnostic. 6. state optimization does not mutate carrier checkpoint. 7. same state serves all sealed queries. 8. resolution sweep uses same scene/query IDs. 9. resolution sweep changes only allowed fields. 10. optimizer checkpoint selection uses context objective only. 11. wrong-scene control keeps query camera unchanged. 12. final holdout loader stays disabled. 13. scene bootstrap resamples scenes. 14. raw results regenerate statistics exactly. 运行完整 suite。 ============================================================ 28. 输出图表 ============================================================ 至少生成： 1. carrier vs direct-state query AbsRel 2. context vs query error 3. resolution vs query AbsRel 4. per-scene capacity gap 5. query-supervised vs context-supervised vs carrier 6. state resolution vs compute/memory 图中不能只展示有利 scenes。 ============================================================ 29. README 必须回答 ============================================================ 1. 8^3 state + fixed renderer 本身能不能表示正确 geometry？ 2. Query-supervised direct state 能做到什么水平？ 3. Context RGB+D direct state 能做到什么水平？ 4. RGB-only direct state 能做到什么水平？ 5. Carrier 与 direct-state 的 gap 多大？ 6. 这个 gap 是否跨多个 scenes？ 7. Resolution 提高是否稳定改善 query？ 8. Renderer samples 是否重要？ 9. Direct-state 是否只是记住 context？ 10. Wrong-scene replacement 是否损害 direct-state？ 11. 主要瓶颈是 representation、renderer、 context inference 还是 learner？ 12. 下一轮到底应该： - redesign representation - redesign lifting - increase resolution - retrain carrier - 还是停止当前路线？ ============================================================ 30. 最终摘要 ============================================================ 打印： ============================================================ 3D DIRECT-STATE CAPACITY ATTRIBUTION FINAL ============================================================ N_CAPACITY_DEV_SCENES= CARRIER_ABSREL= DIRECT_RGBD_8_ABSREL= DIRECT_RGBONLY_8_ABSREL= QUERY_ORACLE_8_ABSREL= CAPACITY_GAP_RGBD= CAPACITY_GAP_RGBONLY= DIRECT_RGBD_16_ABSREL= DIRECT_RGBD_32_ABSREL= RESOLUTION_8_TO_16_GAIN= RESOLUTION_16_TO_32_GAIN= RENDER64_ABSREL= RENDER128_ABSREL= CONTEXT_RGBD_ERROR= QUERY_RGBD_ERROR= GENERALIZATION_GAP_RGBD= WRONG_SCENE_DAMAGE_DIRECT= STATE_CAPACITY_STATUS= REPRESENTATION_BOTTLENECK= RESOLUTION_BOTTLENECK= RENDERER_BOTTLENECK= CONTEXT_INFERENCE_BOTTLENECK= LEARNER_TRAINING_BOTTLENECK= FINAL_HOLDOUT_TOUCHED=false DYNAMIC_TTT_RUN=false NEW_CARRIER_TRAINED=false TESTS= FINAL_INTEGRITY= REPORT_DIR= ============================================================ ============================================================ 31. 最重要的科学纪律 ============================================================ 不要问： “怎样让 direct-state 结果尽量好？” 而是问： “当前系统失败到底发生在哪一层？” 必须真正区分： scene representation本身表达不了 vs representation能表达， 但context无法恢复 vs context能够恢复， 但learner没学会 vs renderer离散化限制 vs resolution限制。 只有把这层 attribution 做清楚， 下一轮才值得重新训练 carrier。 不要为了得到某个想要的归因而修改 protocol。