# 二维观测反馈与写入机会：执行计划

用户已于 2026-09-21 授权清理本机旧三维数据集、下载二维数据并运行必要小实验。该授权覆盖本计划的独立 pilot；不修改旧三维模型、结果、日志或 checkpoint。

目标：先检查真实观测重建反馈是否能支持有益的特征修正，再检查动态动作是否有可利用机会。结果属于探索性机制筛选，不是完整逆向 JEPA + 动态 TTT 的验证或官方 benchmark 排名。

## 数据和信息边界

- 清理：先盘点精确路径、文件数/字节、重解析点与进程，再由主代理对确认的可重下载数据执行永久删除；保留简洁清理账单。
- HPatches 官方源 DNS 失败，本轮改为已取得的官方 DAVIS-2017 trainval 480p，832,766,765 bytes。实际路径见资产 manifest；不把它混称 HPatches。
- 仅使用 DAVIS 官方 train 60 序列，按名称 SHA256 排序为 24 拟合、12 发现、16 独立验证、8 封存保留序列；官方 val 30 全部保留。所有身份划分在读取指标前固定。
- 每序列提取首帧及总帧数 1/3、2/3 处的图像。只将 RGB 传入适配，首帧标签与后续真值仅进入评价。首轮是逐图适配、冻结首帧参考特征，不宣称自然视频在线适配。
- 当前观测特征可用于预测其 patch RGB，再在写入前计算残差。这是可见图像的 pre-write 自监督反馈，不是未见区域预测；不以 token 后置掩码声称防止像素泄漏。
- 主要指标是 16x16 token 网格上的首帧标签最近邻传播对象平均 IoU，另报前景 IoU；这不是官方 DAVIS J&F。受控平移另检查 token 匹配 PCK@1/2 token，不能冒充自然视频几何真值。RGB MSE 是辅助指标。

## 实现单元

- `scripts/prepare_2d_probe_assets.py`：官方下载、安全解压、资产清单与本地 SHA256；不把本地 SHA 当作发布方校验。
- `src/mcss/vision_probe/features.py`：冻结 DINOv2-S/14，224x224、16x16 patch grid，提取特征与 patch 平均 RGB。
- `src/mcss/vision_probe/geometry.py`：token-grid 首帧 mask 传播的评价；另提供原图单应变换到 token 网格的受控诊断。
- `src/mcss/vision_probe/adaptation.py`：训练图像上拟合特征降维及冻结 RGB 线性读出；两个私有残差矩阵分别作用于逐 token 特征和局部邻域特征，真实 RGB 残差直接产生外积修正。
- `scripts/run_vision_probe.py`：固定身份划分、特征缓存、无写入/固定动作/有限轨迹/不读取几何答案的动作选择对照，JSONL 原始记录及汇总。
- `tests/test_vision_probe_*.py`：坐标、状态隔离、OFF、因果更新和标签不影响部署等必要契约。

## 执行顺序与停止规则

1. 完成清理与数据资产核验，运行数张图的加载/特征 smoke。
2. 在拟合集估计降维与 RGB 读出，固定更新形式和候选学习率。
3. 在发现集选择温和的更新尺度，比较动作机会；保留不利结果。
4. 配置冻结后在独立验证序列上运行固定、动态和有限 oracle 诊断。oracle 可读取评估分数，仅作机会诊断，不进入部署结果。
5. 若重建改善而匹配没有收益，报告该反馈在此最小实现上的失配，不自动扩大模型训练。
6. 若有动作机会，评估不读取真值的残差规则及由发现集收益拟合的简单选择器；复杂轨迹/控制器只在机会得到支持时再增加。

所有方法使用相同观察集合。写入数、候选探测数、总运行时间分别记账；OFF 是质量参照，不声称与有写入方法计算相同。有限 oracle 搜索成本不包装为部署成本。

本项目代码根不是 Git 仓库；本轮新模块以独立目录、清单与文件哈希保留可追溯性，不创建伪造提交或改写旧 baseline。