"""Render the blocked V2 report from archived analysis; no dataset access.""" # Long literal paragraphs preserve the rendered report text. # ruff: noqa: E501 import argparse import json from pathlib import Path def main(): parser = argparse.ArgumentParser() parser.add_argument("--report-dir", type=Path, required=True) args = parser.parse_args() report = args.report_dir.resolve() def read(name): return json.loads((report / name).read_text()) numbers = read("report_numbers.json") if numbers["confirmation_status"] != "BLOCKED_NO_INDEPENDENT_DATA": raise ValueError("This renderer covers the audited blocked run; do not relabel another run") old = read("global_trajectory_diagnostics.json")["diagnostics"]["historical_validation448"] methods = read("selector_analysis.json")["448/discovery"] cycle = methods["CycleGate_outer_OOF_before_fallback"] gate = methods["GateOnly_outer_OOF_before_fallback"] policies = read("selectors.json") costs = read("cost_analysis.json") tests = read("tests.json") def pp(value): return f"{100 * value:.6f}" def interval(values): return "[" + ", ".join(pp(x) for x in values) + "]" lines = [ "# EXP-2D V2: 独立确认受阻，已完成 discovery 与旧 raw 诊断", "", "**CONFIRMATION_STATUS=BLOCKED_NO_INDEPENDENT_DATA**。新独立序列/target pairs 均为 0。", "H1a 与独立 H2 尚未完成；下列性能数字来自已经曝光的 V1 raw 或 discovery，不能当成新测试结果。", "V1 产物保留，V2 在独立目录开发、运行、测试和归档；没有打开 reserve 或 DAVIS 官方 validation。", "", "## V1 原始结果核验与真正的样本依赖空间", "", "原始 1792 行候选覆盖检查、README/STATUS 数字与旧锁定哈希核验通过。以下只后处理 448、16 个旧 validation 序列、32 pairs 的封存 raw，没有重新评价媒体。", "", "| 方法 | Pixel J（0–1） | 资格 |", "|---|---:|---|", ] labels = { "OFF": "OFF/OFF", "discovery_fixed16": "Discovery-fixed16（ALL/B）", "constant_oracle": "Per-pair constant oracle（4条）", "dynamic_oracle": "Per-pair dynamic oracle（16条）", "hindsight_global16": "Hindsight-global16（A/ALL）", } for name, label in labels.items(): scope = "冻结部署基线" if name in ("OFF", "discovery_fixed16") else "使用答案的离线诊断" lines.append(f"| {label} | {old['means'][name]:.12f} | {scope} |") lines += [ "", "| Gap | J百分点 | 95% sequence bootstrap CI（百分点） | LOSO最小值（百分点） |", "|---|---:|---:|---:|", ] for name in ("write_opportunity", "nonconstant_extra", "sample_dependence_gap"): x = old["gaps"][name] lines.append(f"| {name} | {pp(x['mean'])} | {interval(x['ci95'])} | {pp(x['loso_min'])} |") gap = old["gaps"]["write_opportunity"] dep = old["gaps"]["sample_dependence_gap"] lines += [ "", f"相对 OFF 的机会出现在 {gap['sequence_counts']['improved']}/16 个序列；正贡献 top-1/top-3 占比为 {100 * gap['top1_positive_share']:.3f}% / {100 * gap['top3_positive_share']:.3f}%。", f"逐样本相对全局16轨迹的额外空间为 {pp(dep['mean'])} 个百分点。A/ALL 是完整旧集合上的唯一全局最优者；所有 pair 的完整最优轨迹集合没有共同交集。", "sample_dependence_gap 的每次 bootstrap 和 LOSO 均重新优化该子集的全局16轨迹，未固定完整数据的 winner。全轨迹 regret、并列集合、贡献和删一结果见 global_trajectory_diagnostic.json。", "Oracle 含 OFF，dynamic 含 constant；非负具有构造性。非恒定轨迹优势未匹配更新次数/动作多重集合，不能视为顺序因果机制。", "", "## V2 discovery：过程估计与最终策略分开", "", "12 个已授权 discovery 序列 × 2 target slots × 16 candidates = 384 行。保持 DINOv2-S/14、448/32×32、PCA64、RGB decoder、eta=5、clip=0.15、两步 A/B 写入与 pixel J 不变。复用已核验 V1 cache/readout 与封存 reward；本轮仅重算 source cycle。", "Source mask 在该任务部署时可用，这是 source-annotated、discovery-supervised 设置，不是无标注方法。Cycle 使用两次独立 hard cosine 匹配；前景对象等权 soft IoU，以 product intersection/probabilistic union 定义。只新增 f_cycle。", "Nested sequence LOSO 的 scaler、ridge 和调参只见各训练折；固定 alpha=[0.1,1,10,100]、threshold=[0,.0005,.001,.002,.005] 与 ALWAYS_OFF，sequence 总权重相等。", "", "| 外层 OOF，回退前 | mean J | ΔJ vs OFF（百分点） | 95% CI（百分点） | 写入率 | 有害写入/写入pairs | positive capture | net capture |", "|---|---:|---:|---:|---:|---:|---:|---:|", ] for name, value in (("GateOnly", gate), ("CycleGate（预指定主方法）", cycle)): x = value["comparisons"]["vs_OFF"] lines.append( f"| {name} | {value['mean_J']:.12f} | {pp(x['mean'])} | {interval(x['ci95'])} | {value['write_rate']:.2%} | {value['harmful_write_rate']:.2%} | {value['positive_capture']:.2%} | {value['net_capture']:.2%} |" ) lines += [ "", f"CycleGate−GateOnly 的外层 OOF 差为 {pp(cycle['secondary_vs_GateOnly']['mean'])} 个百分点，95% CI {interval(cycle['secondary_vs_GateOnly']['ci95'])}，跨过 0。不能据此认定新信号提高净收益。两者 OOF 写入率相同，因此不能仅凭这里的结果认定 GateOnly 靠更少写入取得优势。", f"CycleGate OOF positive_gain={cycle['positive_gain']:.12f}，harmful_loss={cycle['harmful_loss']:.12f}，净收益={cycle['net_gain']:.12f}。positive capture 不等于 net capture。", f"CycleGate OOF 相对 discovery-fixed16 为 {pp(cycle['comparisons']['vs_discovery_fixed16']['mean'])} 个百分点，95% CI {interval(cycle['comparisons']['vs_discovery_fixed16']['ci95'])}。fixed16 曾在完整 discovery 上选定，因此这一 discovery 内比较只是描述性诊断。", "上述 OOF 区间只描述已得到的 discovery 折外决策；各折共享训练序列，不是新独立 holdout 置信证明。97.5% 区间已保存，不能把 discovery 的区间包装成预注册独立 H2 成功。", "两方法外层净收益均 >0，按固定规则最终没有退化为 ALWAYS_OFF；均冻结为 RIDGE_GATE，alpha=100，threshold=0。最终 full-discovery tuning/in-sample 表与外层 OOF 单独保存，不能把最终调参得分当泛化。", "所有 selector 的对象/target/sequence 汇总、写入损害、beneficial precision/recall（写入pairs / 存在oracle机会pairs 为各自分母）、零分母 NA、≥0.5/1/2百分点计数、F/JF、tiny-object敏感性均见 selector_analysis、CSV 和 robustness_analysis。没有事后删除 tiny 对象改善主指标。", "", "## 独立数据审计与阻塞边界", "", "- [VOST 官方来源与许可](https://www.vostdataset.org/data.html)：公开为 CC BY-NC-SA 4.0，来自 Ego4D/EPIC-KITCHENS；ZIP 的 clip ID 缺少到原始视频的可核实映射，未通过视频独立性审计。该域若未来使用，属于跨数据集物体变形确认。", "- [FBMS-59 官方来源与条款](https://lmb.informatik.uni-freiburg.de/resources/datasets/)：仅研究用途、禁止商业使用。官方成员与评估代码表明 PGM 可能是 label 或 confidence，PPM 需要 region 映射；未找到通用且兼容 V1 的背景/void规则。按名称家族合并也不能证明原视频独立，未予放行。", "- 仅下载约 44.1 MB 元数据与官方评估源码；新 RGB/source mask/target mask 均为 0。未读取 mask 内容判断样本是否有利。精确/近重复影像审计因没有合格待选 cohort 而未运行，明确记为 UNVERIFIED。", "- split_manifest 为空确认集；predictions_manifest.complete=false，无独立 raw_results.jsonl。远程 target fetch 保持关闭，无合格 adapter；待运行命令现在会拒绝此 manifest，不能直接声称确认流程已经跑通真实外部数据。", "恢复条件是可审计的原视频身份、兼容许可与 source 注释、已验证的固定 mask 编码、预先锁定的帧清单和历史精确/近重复审计；之后需先全部预测冻结，再由单独 evaluator 读取 target GT。现有 reserve/官方 DAVIS val 仍不可自动启用。", "", "## 计算成本、完整性与测试", "", f"实际 discovery 计算：{sum(x['proposal_calls'] for x in costs['pairs'])} 次 proposal、{sum(x['increment_calculations'] for x in costs['pairs'])} 次 A/B 增量计算、{sum(x['cycle_calls'] for x in costs['pairs'])} 次 cycle、{sum(x['correspondence_calls'] for x in costs['pairs'])} 次双向对应调用。", f"候选状态计算共 {sum(x['candidate_seconds'] for x in costs['pairs']):.6f}s；cycle 共 {sum(x['cycle_seconds'] for x in costs['pairs']):.6f}s，其中对应计算 {sum(x['correspondence_seconds'] for x in costs['pairs']):.6f}s（包含关系，不能相加）。", "Backbone 本轮调用0，旧可见特征也复用；CPU 计算对应的本轮 CUDA 峰值为0。另记录了保存特征上的单次 selector 推理计时，nested training 未单独计时，标记 NA。这里没有独立测试全流程成本，也没有 matched-budget 效率比较；即使最后选 OFF，全候选试算成本仍已发生。", "Source mask 读取24次，target GT读取0；日志分开归档。674项 V1 产物与170项旧锁定源码复核；169项 V2相关实现/骨干源码锁定。新增代码不会反向改变旧锁的文件集合。", f"完整测试：{tests['full_suite']['passed']} passed，{tests['full_suite']['skipped']} skipped。首轮在旧 dynamic/types 路径发生原生 segmentation fault（exit139），同命令重跑通过；原因未确定，失败与重试日志均保留。唯一 skip 是公开仓库未分发的历史 V5 checkpoint，不是本轮为了通过测试而关闭检查。", "10份统计 JSON/CSV 两次纯封存产物重生成逐字节一致；重生成不读取媒体、不训练、不调用 selector 推理。integrity.json 的 PASS 表示已完成工作的一致性，不表示独立科学确认成功。", "", "## 对三个目标的判断", "", "H1b：旧 validation 中仍有约0.205456百分点的逐样本空间，这是被观察数据上的诊断。H1a：新独立序列尚无合格数据，收益量级、跨视频稳定性和 tiny-object依赖无法独立确认。H2：尚无独立确认，不能宣称 CycleGate 战胜 OFF 或 fixed16。", "旧 oracle headroom 较小；discovery selector 呈正的流程估计，但不足以得出实用部署结论。现有证据既不能证明 cycle 有效，也不能从当前未确认推断所有可见信号均不可能有效。限制包括历史曝光、样本量、外部域差异、全候选试算与 source 标注假设。", "", "## 复现与产物", "", "执行 `bash regenerate.sh` 只重生成分析与本文；`bash commands.sh discovery` 在新的 replay 目录重算 discovery 和 nested fit，拒绝覆盖本实验。`bash commands.sh tests` 运行完整测试。待确认的 predict/evaluate 命令及 adapter 阻塞在 commands.sh 中说明。", "配置/协议：config.json、preregistration.json、feature_contract.json；锁：selector_lock.json、implementation_lock.json；完整折信息：nested_cv_results.json；raw：discovery_rows.jsonl；决策：discovery_decisions.jsonl；数据与网络：independent_data_audit.json、resource_request_log.json、各数据源审计。", "统计：global_trajectory_diagnostic.json、selector_analysis.json、bootstrap_results.json、robustness_analysis.json、per_pair_results.csv、per_sequence_results.csv；成本/访问：cost_analysis.json、source_mask_access_log.json、target_gt_access_log.json；完整性/环境：integrity.json、tests.json、git_commit.txt、dirty.patch、environment.json、source snapshots。", ] (report / "README.md").write_text("\n".join(lines) + "\n") terminal = { "PRIMARY_METRIC": "PIXEL_J", "PRIMARY_RESOLUTION": 448, "DATA_INDEPENDENCE_STATUS": "UNVERIFIED", "EVALUATION_DOMAIN": "NONE_CONFIRMED", "N_NEW_SEQUENCES": 0, "N_NEW_PAIRS": 0, "OLD_RAW_GLOBAL16_DIAGNOSTIC": "COMPLETE_EXPLORATORY", } for key in ( "OFF_J DISCOVERY_FIXED16_J HINDSIGHT_GLOBAL16_J CONSTANT_ORACLE_J DYNAMIC_ORACLE_J ORACLE_MINUS_OFF DYNAMIC_MINUS_CONSTANT ORACLE_MINUS_HINDSIGHT_GLOBAL16 GATE_ONLY_J CYCLE_GATE_J CYCLE_GATE_MINUS_OFF CYCLE_GATE_MINUS_FIXED CYCLE_GATE_MINUS_GATE_ONLY CYCLE_GATE_WRITE_RATE CYCLE_GATE_HARMFUL_WRITE_RATE CYCLE_GATE_POSITIVE_CAPTURE CYCLE_GATE_NET_CAPTURE" ).split(): terminal[key] = "NA_NO_INDEPENDENT_TEST" terminal.update( PRIMARY_POLICY_ALWAYS_OFF=str(policies["CycleGate"]["policy"] == "ALWAYS_OFF").lower(), TARGET_GT_READ_BEFORE_PREDICTION_LOCK=0, RESERVE_TOUCHED="false", DAVIS_OFFICIAL_VAL_TOUCHED="false", CONFIRMATION_STATUS="BLOCKED_NO_INDEPENDENT_DATA", TESTS="500_PASS_1_SKIP_ON_RETRY_NATIVE_CRASH_LOGGED", FINAL_INTEGRITY="SEE_integrity.json", REPORT_DIR=str(report), ) integrity_path = report / "integrity.json" if integrity_path.exists(): terminal["FINAL_INTEGRITY"] = read("integrity.json")["status"] text = ( "=" * 60 + "\nEXP-2D V2: INDEPENDENT OPPORTUNITY + TASK-AWARE SELECTION\n" + "=" * 60 + "\n" + "\n".join(f"{k}={v}" for k, v in terminal.items()) + "\n" + "=" * 60 + "\n" ) (report / "terminal_summary.txt").write_text(text) (report / "STATUS.md").write_text("# V2 status\n\n```text\n" + text + "```\n") print(text) if __name__ == "__main__": main()