docs(agent): refresh terminal parity evidence

This commit is contained in:
jxxghp
2026-09-11 19:02:34 +08:00
parent d22fa746fd
commit 961c7b91c7
2 changed files with 4 additions and 4 deletions

View File

@@ -92,9 +92,9 @@ uv run --locked --no-sync python -m scripts.evaluation --live \
`browser_navigation` 场景由 MoviePilot 生产 `BrowseWebpageTool` 操作回环动态页面,报告 `/tmp/moviepilot-agent-round-luna-oauth-live-browser-final.json` 通过,4 次浏览器回执在点击后观察到 `BROWSER_OK`。`codex exec 0.153.4` 在探针 `/tmp/moviepilot-agent-round-luna-oauth-native-probe-browser-final.json` 中即使显式开启 browser/computer feature 也没有广告浏览器动作,因此浏览器原生配对保持 blocked;这不是把 CLI 的缺失能力改判为通过。
`terminal_session` 场景在同一 `gpt-5.6-luna + max`、Codex OAuth 和新 Harness 下形成了生产通过、原生失败的真实配对 `/tmp/moviepilot-agent-round-luna-oauth-terminal-appserver-pair-final-2149dce.json`(`pair_valid=true`、`both_passed=false`)。MoviePilot 报告 `/tmp/moviepilot-agent-round-luna-oauth-live-terminal-appserver-final-2149dce.json` 用 4 次模型调用完成 `start → write(session_id) → read`,pipe 会话观察到 `READY`、`REPLY=MOVIEPILOT_TERMINAL_OK` 和退出码 0;原生 app-server 报告 `/tmp/moviepilot-agent-round-luna-oauth-native-terminal-appserver-final-2149dce.json` 仍记录 stdin 在 READY 前关闭,评分器保留 `terminal_input_not_verified`、`terminal_output_not_read` 和 `terminal_output_not_verified`。该失败保留为命令行 Harness 的真实差异,不能把工具广告当成交互能力通过。
`terminal_session` 场景在同一 `gpt-5.6-luna + max`、Codex OAuth 和修复后 Harness 下形成了生产通过、原生失败的真实配对 `/tmp/moviepilot-agent-round-luna-oauth-terminal-appserver-pair-final-d22fa746f.json`(`pair_valid=true`、`both_passed=false`)。MoviePilot 报告 `/tmp/moviepilot-agent-round-luna-oauth-live-terminal-appserver-final-d22fa746f.json` 用 4 次模型调用完成 `start → write(session_id) → read`,pipe 会话观察到 `READY`、`REPLY=MOVIEPILOT_TERMINAL_OK` 和退出码 0;原生 app-server 报告 `/tmp/moviepilot-agent-round-luna-oauth-native-terminal-appserver-final-d22fa746f.json` 仍记录 stdin 在 READY 前关闭,评分器保留 `terminal_input_not_verified`、`terminal_output_not_read` 和 `terminal_output_not_verified`。该失败保留为命令行 Harness 的真实差异,不能把工具广告当成交互能力通过。
对应的 `terminal_pty_session` 原生报告 `/tmp/moviepilot-agent-round-luna-oauth-native-terminal-pty-appserver-final-2149dce.json` 已记录 `terminalInteraction` 输入事件和输出增量,但模型最终报告 `terminal_exit_code=null`,独立验收仍为 `terminal_output_not_verified`。终端评测适配层现在只对 pipe/PTY 场景使用 Codex app-server,以便保存持续 stdin、输出增量和终端交互事件;这提高了失败可审计性,尚未形成终端配对通过。该轮 `harness_sha256` 为 `8fbebf16eedd5c16e6bedb47259dd2cbfd827aee688384c1012307b5263a5ab2`。
对应的 `terminal_pty_session` 原生报告 `/tmp/moviepilot-agent-round-luna-oauth-native-terminal-pty-appserver-final-d22fa746f.json` 已记录命令完成、`terminalInteraction` 输入事件和输出增量,但本次模型流在最终 JSON 前因 SSE idle timeout 断开,独立验收为 `invalid_final_report`。终端评测适配层现在只对 pipe/PTY 场景使用 Codex app-server,以便保存持续 stdin、输出增量和终端交互事件;这提高了失败可审计性,尚未形成终端配对通过。该轮 `harness_sha256` 为 `aac8905480b95343c17875ed240f9f6b8ca9ea65bc97647f2696a1deb0a64497`。
### 长上下文与 WebAgent 排队消息实测

View File

@@ -76,8 +76,8 @@ uv run --locked --no-sync python -m scripts.evaluation \
- 本轮第三阶段:修正原生动态工具搜索对 `multi_agent_v1` 协作命名空间的投影,正向保留 `wait_agent`、`resume_agent` 等原生控制动作,负向继续拒绝 `read_file`。在同一 Harness(`71be4c436acc5dc2d5a0cd6996c3ca10688a9c4ba98fd11594e536f7aa440c22`)下,`dedup_existing` 配对 `/tmp/moviepilot-agent-round-luna-oauth-dedup-pair-13.json` 与 `unknown_download` 配对 `/tmp/moviepilot-agent-round-luna-oauth-unknown-pair-14.json` 均 `pair_valid=true`、`both_passed=true`;MoviePilot 分别使用 6/6 次模型调用,原生 Codex 使用 10/14 次。`honest_unknown` 配对 `/tmp/moviepilot-agent-round-luna-oauth-honest-pair-16.json` 仍为 `both_passed=false`:MoviePilot 在 9 次调用后如实保留下载未核验,原生 Codex 达到 16 次上限后没有最终 JSON,产生 `invalid_final_report`。这保留了真实失败边界,不能等同整体 Codex 智能已完成。
- 命令行与浏览器能力阶段:`command_execution` 在同一 `gpt-5.6-luna + max` 和独立 Codex OAuth 下已形成真实配对 `/tmp/moviepilot-agent-round-luna-oauth-command-pair-final.json`,`pair_valid=true`、`both_passed=true`,harness 为 `c409ee1ca7899ccfcefd38832d6a343f024f8fc67fb65f14c3eec08552203257`。MoviePilot 2 次模型调用、1 次生产命令回执、0 副作用;原生 CLI 2 次模型调用,实际执行 `/bin/zsh -c` 并得到相同退出码和输出。生产 stdout 的 `[标准输出]` 展示包装已在独立判定器中与命令内容分离。
- 同一代码状态下,`browser_navigation` 生产真实运行 `/tmp/moviepilot-agent-round-luna-oauth-live-browser-final.json` 通过:6 次模型调用、4 次浏览器回执,真实页面点击后观察到 `BROWSER_OK`。`codex exec 0.153.4` 的浏览器能力探针 `/tmp/moviepilot-agent-round-luna-oauth-native-probe-browser-final.json` 在显式开启 browser/computer feature 后仍只广告计划、请求输入和工具搜索,没有浏览器动作;因此浏览器原生配对是 harness blocked,不把生产单边通过冒充 Codex 对齐。
- `terminal_session` 在同一 `gpt-5.6-luna + max`、OAuth 和新 Harness 下的配对 `/tmp/moviepilot-agent-round-luna-oauth-terminal-appserver-pair-final-2149dce.json` 为 `pair_valid=true`、`both_passed=false`。MoviePilot 报告 `/tmp/moviepilot-agent-round-luna-oauth-live-terminal-appserver-final-2149dce.json` 4 次模型调用完成 `start → write(session_id) → read`,真实 pipe 输出与退出码通过;原生 app-server 报告 `/tmp/moviepilot-agent-round-luna-oauth-native-terminal-appserver-final-2149dce.json` 仍观察到 stdin 在 READY 前关闭,评分器保留 `terminal_input_not_verified`、`terminal_output_not_read` 和 `terminal_output_not_verified`。这证明一次性 pipe 执行器的边界仍然存在,不能把工具清单广告视为交互能力通过。
- 对应的 `terminal_pty_session` 原生报告 `/tmp/moviepilot-agent-round-luna-oauth-native-terminal-pty-appserver-final-2149dce.json` 已通过 app-server 的结构化事件记录到 `terminalInteraction` 和输出增量,但模型最终报告 `terminal_exit_code=null`,独立验收仍为 `terminal_output_not_verified`。当前改动提升了证据采集能力,没有把未核验的 PTY 终态改判为通过;`harness_sha256` 为 `8fbebf16eedd5c16e6bedb47259dd2cbfd827aee688384c1012307b5263a5ab2`。
- `terminal_session` 在同一 `gpt-5.6-luna + max`、OAuth 和修复后 Harness 下的配对 `/tmp/moviepilot-agent-round-luna-oauth-terminal-appserver-pair-final-d22fa746f.json` 为 `pair_valid=true`、`both_passed=false`。MoviePilot 报告 `/tmp/moviepilot-agent-round-luna-oauth-live-terminal-appserver-final-d22fa746f.json` 4 次模型调用完成 `start → write(session_id) → read`,真实 pipe 输出与退出码通过;原生 app-server 报告 `/tmp/moviepilot-agent-round-luna-oauth-native-terminal-appserver-final-d22fa746f.json` 仍观察到 stdin 在 READY 前关闭,评分器保留 `terminal_input_not_verified`、`terminal_output_not_read` 和 `terminal_output_not_verified`。这证明一次性 pipe 执行器的边界仍然存在,不能把工具清单广告视为交互能力通过。
- 对应的 `terminal_pty_session` 原生报告 `/tmp/moviepilot-agent-round-luna-oauth-native-terminal-pty-appserver-final-d22fa746f.json` 已通过 app-server 的结构化事件记录到命令完成、`terminalInteraction` 和输出增量,但本次模型流在最终 JSON 前因 SSE idle timeout 断开,独立验收为 `invalid_final_report`。当前改动提升了证据采集能力,没有把未核验的 PTY 终态改判为通过;`harness_sha256` 为 `aac8905480b95343c17875ed240f9f6b8ca9ea65bc97647f2696a1deb0a64497`。
- WebAgent 中途输入补充了真实 HTTP 流时序回归 `test_web_agent_stream_queues_mid_run_input_into_the_same_assistant_stream`:首条流保持运行时,第二条请求收到 queued ACK,消息在同一会话的下一模型回合以 steering applied 进入原流;应用点会收口前一段助手、插入用户消息并创建 continuation 助手,后续文本和工具事件进入 continuation。该回归验证了宿主排队和展示边界;真实模型长任务配对仍待补跑。
- 本轮 WebAgent 留存与工具状态修复了两类真实时序:后端展示快照和 `AgentChatMessage` 记录 `steering_message_id`,前端持久化 queued 消息并在服务端恢复快照、刷新和 ACK 断流时合并保留,迟到 applied 事件更新同一条用户气泡;工具事件携带稳定 `tool_id` 与 `running/done/error` 状态,前端不再用最后一条提示覆盖之前的完成态。后端相关测试 162 项和前端 `AgentAssistantPanel.spec.ts` 41 项通过,`vue-tsc --noEmit` 通过。
- 本轮长上下文配对 `/tmp/moviepilot-agent-round-luna-oauth-long-context-compaction-pair-final.json` 使用同一 `gpt-5.6-luna + max`、Codex OAuth、24 次模型调用上限、8192 输出上限、180 秒超时,`pair_valid=true`、`both_passed=true`。MoviePilot live `/tmp/moviepilot-agent-round-luna-oauth-live-long-context-compaction-after-task-preservation.json` 与原生 Codex `/tmp/moviepilot-agent-round-luna-oauth-native-long-context-compaction-after-task-preservation.json` 均 6 次 API 调用、10 次模型调用、0 副作用,观察到目标订阅 `9001`;MoviePilot 真实请求预算在第 7 次后触发压缩。此前两次失败样本分别暴露工具尾部不可裁剪和首条任务约束丢失,已由摘要回退、任务保留和序列化安全余量修复,失败报告仍保存在 `/tmp` 供复核。