逆向 JEPA + 动态 TTT：第一阶段实现与调试

日期：2026-09-19。代码根目录：D:/code/codepy/measurement_scene_state。

本次完成的是可运行、可反向传播的第一阶段工程实现。它能够从多张已见图像构建场景状态，逐帧选择写入位置、更新场景私有快速权重，再用固定 renderer 读出结果。小模型的程序链路检查不能证明研究方法有效，也不代表完整动态策略已经训练完成。

两个核心思路如何落地

逆向 JEPA 体现在“图像上下文 → 查询无关的三维状态 → 固定测量 → 真实 RGB/深度监督”这条链路。训练时，从同一场景取两组互不重叠的上下文，各自构建状态，再面对同一组查询图像计算误差。这样需要由场景状态解释观测，读出器本身没有可学习参数。代码是 training/grounded.py、dynamic/carrier.py 与已有固定 renderer 的组合，当前并没有增加隐空间相似度损失来冒充这一思路。

动态 TTT 体现在流式更新。新图像到达时，先用旧状态在该相机位置做预测；比较预测与当前图像后，决定 OFF / FUSE / COMPLETE / ALL。随后缓存新观测，按动作向两个明确的矩阵写入偏移，重新构建场景。OFF 仍接收新图像，只是不写快速权重。

当前已经有四个固定动作对照，以及一个按预测误差阈值选动作的调试策略。阈值策略没有训练，不能当作论文中的学习控制器。离线动作教师、未来收益标签与策略学习仍需后续实现。

文件职责

旧静态模型与训练入口继续保留。动态 checkpoint 使用 mcss.dynamic.v1，明确拒绝直接加载旧 V5 checkpoint。

已固定的执行边界

• 在线运行器不导入训练标签读取器或最终查询读取器；查询只在封存后由外层评估打开。
• 所有场景采用首张 warmup 相机作为坐标锚点，使用配置中的固定米制范围；范围不从查询深度估计。
• ALL 的两个更新来自同一个旧状态，不先改一个矩阵再计算另一个。
• 新场景重置快速权重；不同分支使用不同身份。提案还绑定精确源状态，防止同版本、不同内容的后继误用彼此的更新。
• 分支与状态身份不进入数值内容哈希，因此同样的数据与权重仍可以做可复现的哈希比较。
• 部署冻结慢参数，不执行反向传播；离线训练复用同一计算内核并保留梯度。
• 账单记录真实模块调用次数及全部已见视图的重处理量。declared_operator_work_proxy 是估计工作量，不是实测 FLOPs。

数据用途

本次下载的 26 个完整 Hypersim ZIP 属于 final_holdout，压缩包合计 102,405,935,184 字节。解压目标是 data/hypersim_final_holdout_raw；压缩包保留。CRC 检查属于文件完整性检查，不属于模型评测。

解压和独立目录复核均已完成：26 个场景、136,795 个实际文件、102,370,486,124 字节，缺失/额外文件及文件大小不符均为 0。下载 heartbeat hypersim 已暂停。

开发调试使用此前准备的六个场景，分辨率 128×160：

• train：ai_001_001、ai_001_002、ai_001_003。
• dev：ai_003_010、ai_004_003、ai_004_004。
• 每个流式 episode：4 张 warmup、8 张 stream、4 张独立 query。
• 优化检查仅用 ai_001_001：warmup 0–3，短 stream 4–5，query 12–15。

清单中的 dev 对应磁盘 hypersim_er_prepared/val，代码使用明确的固定映射核验；train 对应磁盘 train。

最终测试集不参与本轮代码调试、训练、阈值选择或模型选择。

验证产物

最终回归：84 项测试通过，Ruff 检查通过，冻结 V5 的 7/7 个文件 SHA256 一致。真实 CUDA 流式检查完成 30/30 次运行；训练检查完成 3 次优化，两次含动态写入的更新均有有限非零梯度，写入规则本身的参数哈希也发生变化。checkpoint 保存/重载后的同一展开结果哈希一致。

• outputs/dynamic_ttt_pilot_20260919/runtime_smoke_verified/report.json：六场景 × 五策略的完整 CUDA 工程运行记录；所有策略从同一随机初始化出发。
• outputs/dynamic_ttt_pilot_20260919/training_smoke_verified/report.json：一轮双上下文优化及两轮短 ALL 展开优化，分别记录载体与写入规则的梯度、更新前后参数哈希，以及 checkpoint 重载一致性。
• outputs/dynamic_ttt_pilot_20260919/final_verification.json：最终测试、代码检查、源码哈希与冻结 V5 核验结果。
• outputs/hypersim_holdout_extraction_20260919/receipt.json：解压完成与逐成员 CRC 检查记录。
• outputs/hypersim_holdout_extraction_20260919/independent_inventory_verification.json：独立核对解压目录的文件集合、每个文件大小及总字节数。

训练 smoke 的 untrained-engineering-smoke 表示“尚未完成正式训练的调试模型”，并不是说没有执行优化。三次优化用于验证梯度与保存/恢复链路；不能用几个 loss 数值论证收敛、泛化或动态 TTT 的收益。

复现命令

在代码根目录用项目虚拟环境执行。每次运行使用新的输出目录，避免覆盖已有证据。

rtk proxy .\.venv\Scripts\python.exe -B scripts/run_dynamic_ttt_pilot.py --index outputs/dynamic_ttt_pilot_20260919/episodes/episode_index.json --output outputs/dynamic_ttt_pilot_20260919/runtime_rerun_01 --device cuda --policies OFF FUSE COMPLETE ALL RESIDUAL_THRESHOLD

rtk proxy .\.venv\Scripts\python.exe -B scripts/smoke_dynamic_training.py --device cuda --output-dir outputs/dynamic_ttt_pilot_20260919/training_rerun_01

rtk proxy .\.venv\Scripts\python.exe -B -m pytest -q tests/dynamic tests/test_episode_access.py tests/test_sealed_queries.py tests/test_dynamic_ttt_pilot.py tests/test_pilot_provenance.py tests/test_extract_hypersim_holdout_archives.py tests/test_types.py tests/test_geometry.py tests/test_measurements.py tests/test_v5_checkpoint_compatibility.py

下一阶段

先把载体及写入规则训练到有意义的开发集水平，再加入离线动作教师和只看前缀的学习策略。之后做匹配计算预算的固定动作/动态动作对照，以及逆向 JEPA 的匹配表示与读出对照。只有这些完成，才适合讨论两个创新的独立收益与结合收益。

当前载体使用 8×8×8 网格和小型 CNN，没有预训练骨干。它的尺寸服务于接口和梯度调试；大场景覆盖、高质量几何、正式训练日程、多种子统计以及公开基线比较仍未验证。固定坐标范围可能截掉场景，后续需要在训练/开发集上检查覆盖情况，不能用最终测试集反向调范围。