EXP-3D-RGBD-COREB-JEPA-ABSTAIN-ARKIT-V1:用逆向 JEPA 学到的有选择弃权改进 Core B
结论:JEPA_ABSTAIN_IMPROVES_CORE_B_PARTIAL(SYSTEM3 与 VAL 都是 PARTIAL)。用 JN 的前馈代替 R7 与 TTT 集成,均值稳定地比 Core B 好约 1.8%,但逐场景只有 64–69% 变好;而且它的均值与 TTT 单独打平。
- 开发集选择: 在 ARKIT_SYSTEM + ARKIT_SYSTEM2 上,三个候选中 PAIR = sqrt(ZS_TTT_F7 × JN_F7) 最好,低于 CORE_B,进入确认。
- 开发集均值:PAIR 0.1493,TRIPLE 0.1506,CORE_B 0.1513,MASK 0.1531;TTT 单独为 0.1497,JN 前馈为 0.1523,R7 为 0.1561。
- P1(SYSTEM3): CORE_B − PAIR = +0.0029 [+0.0016, +0.0043],102/0/58,PARTIAL;0.1569 → 0.1540。
- P2(VAL): +0.0019 [+0.0007, +0.0031],55/0/25,PARTIAL;0.1161 → 0.1142。
- 对种子稳健(S1、S2): 用 JN2、JN3 代替 JN1,结果为 +0.0035、+0.0031,都是 PARTIAL。
- 两个 PARTIAL 都只差一项: 变好的场景比例不到 75%。其余检查(CI 不含 0、每个留一场景的均值都为正、最大贡献场景占比 ≤ 0.5)都通过。
- 但它与 TTT 单独打平(S6): +0.0004 [−0.0008, +0.0017],76/0/84;0.1540 对 0.1544。
- 对比无模型方法(S5): +0.0090,138/0/22,SUPPORTED(86% 场景变好;Core B 为 149/0/11,93%)。
- 结论:
- 逆向 JEPA 的前馈确实可以替代 R7 做 TTT 的集成伙伴:系统均值从 Core B 的水平降到 TTT 单独的水平,同时保留大部分一致性。
- 但相对 TTT 单独没有增益。逆向 JEPA 对完整系统的贡献是边际性的。
说明:
- 预注册: 见 PROTOCOL.md,2026-10-10 01:37:36 锁定,sha256
091f0b96…。锁定时,三个候选在任何队列上都没有计算过。 - 选择: 只读开发集真值,01:40:08 记录
selection.json的哈希(b25b778b…),之后才读确认集真值。 - 数据:
- JN1 在开发集上的前馈由本实验评估:两个队列各 320 个查询,各约 2.2 分钟,显存 2.9 GB。JN1 只用 182 个 TRAIN 扫描训练,开发集对它是留出数据。
- 其余全部复用已有封存,哈希核对;CORE_B 与 TTT 单独的均值与 V3 完全相同(差值 0)。
- 统计: 分析运行两次,结果逐字节相同。统计单位是场景,bootstrap 10,000 次,种子 20260928,判定用 V2 gate。
结果
| 编号 | 对比(> 0 表示右边更好) | 队列与区域 | 均值 | 95% CI | 好/平/差 | 状态 |
|---|---|---|---|---|---|---|
| P1 | CORE_B − PAIR | SYSTEM3,ALL | +0.0029 | [+0.0016, +0.0043] | 102/0/58 | PARTIAL |
| P2 | CORE_B − PAIR | VAL,ALL | +0.0019 | [+0.0007, +0.0031] | 55/0/25 | PARTIAL |
| S1 | CORE_B − PAIR(JN2) | SYSTEM3,ALL | +0.0035 | [+0.0020, +0.0052] | 98/0/62 | PARTIAL |
| S2 | CORE_B − PAIR(JN3) | SYSTEM3,ALL | +0.0031 | [+0.0018, +0.0045] | 104/0/56 | PARTIAL |
| S3 | CORE_B − PAIR | SYSTEM3,NEAR7 | +0.0031 | [+0.0013, +0.0052] | 100/0/60 | PARTIAL |
| S4 | CORE_B − PAIR | SYSTEM3,FAR7 | +0.0027 | [+0.0008, +0.0053] | 73/44/40 | PARTIAL |
| S5 | R7 − PAIR | SYSTEM3,ALL | +0.0090 | [+0.0061, +0.0121] | 138/0/22 | SUPPORTED |
| S6 | ZS_TTT_F7 − PAIR | SYSTEM3,ALL | +0.0004 | [−0.0008, +0.0017] | 76/0/84 | NOT_ESTABLISHED |
| S7 | JN_F7 − PAIR | SYSTEM3,ALL | +0.0032 | [+0.0018, +0.0046] | 133/0/27 | SUPPORTED |
均值(AbsRel):
| 读出 | SYSTEM3 ALL | NEAR7 | FAR7 | VAL ALL | NEAR7 | FAR7 |
|---|---|---|---|---|---|---|
| R7(无模型) | 0.1630 | 0.0781 | 0.3037 | 0.1209 | 0.0757 | 0.2567 |
| JN 前馈(JN1) | 0.1572 | 0.0717 | 0.2987 | 0.1172 | 0.0718 | 0.2554 |
| CORE_B = sqrt(R7 × TTT) | 0.1569 | 0.0712 | 0.2983 | 0.1161 | 0.0707 | 0.2540 |
| MASK | 0.1584 | 0.0725 | 0.3014 | 0.1177 | 0.0721 | 0.2559 |
| TRIPLE | 0.1556 | 0.0699 | 0.2967 | 0.1156 | 0.0703 | 0.2538 |
| PAIR = sqrt(TTT × JN) | 0.1540 | 0.0681 | 0.2956 | 0.1142 | 0.0689 | 0.2531 |
| TTT 单独 | 0.1544 | 0.0680 | 0.2980 | 0.1141 | 0.0685 | 0.2544 |
解读
- 为什么 PAIR 比 Core B 好:
- Core B 用几何平均把 TTT 拉向 R7,换来了一致性,但牺牲了均值:TTT 单独的均值一直比 Core B 低。
- PAIR 把集成伙伴从 R7 换成 JN 的前馈。JN 在可靠的像素上给出自己的深度,在不可靠的像素上就是 R7。
- 所以 PAIR 的均值回到 TTT 单独的水平,同时对 R7 仍有 86% 的一致性。
- 为什么说贡献是边际性的:
- PAIR 与 TTT 单独打平(S6)。
- 如果只看均值,直接用 TTT 单独就能得到同样的结果。
- PAIR 的价值只在于一致性的折中:比 TTT 单独更稳,比 Core B 略不稳。
- MASK 无效: 在 JN 认为不可靠的像素上让 TTT 也退回 R7,反而变差(SYSTEM3 0.1584)。TTT 在这些像素上比 R7 更准。也就是说,JN 的弃权信息对前馈有用,对 TTT 之后的状态没有用。
- 对逆向 JEPA 的总体结论: 它在真实数据上给出了一个小而稳健的前馈改进(有选择的弃权)。但对用 TTT 的完整系统,最多只是边际的帮助。
文件
PROTOCOL.md、preregistration.json、reused_seals.json、selection.jsoneval_SYSTEM/frame_role_lock.json(复制自 FULL-SYSTEM-V1)、eval_SYSTEM2/frame_role_lock.json(复制自 FULL-SYSTEM-V2)code/:建目录、锁定、选择与打分、任务脚本ds/ARKIT_SYSTEM/JN1/、ds/ARKIT_SYSTEM2/JN1/:JN1 在开发集上的 CACHE 封存scores/、results/、audit/(含selection_locked_at.txt)