mirror of
https://github.com/jxxghp/MoviePilot.git
synced 2026-11-03 22:04:57 +08:00
docs(agent): record latest Gemini evaluation evidence
This commit is contained in:
@@ -53,6 +53,16 @@ uv run --locked --no-sync python -m scripts.evaluation --live \
|
||||
| `unknown_download` | 未通过 | `/tmp/moviepilot-agent-round-8c0746172-gemini-unknown.json`;模型持续探索错误或无关读取,达到 12 次模型调用上限并返回技术失败/无最终 JSON,尚未稳定收敛到写入后核验。 |
|
||||
| `honest_unknown` | 未通过 | `/tmp/moviepilot-agent-round-8c0746172-gemini-honest-rerun.json`;模型正确保留站点事实并把下载放入 `unresolved`,但没有完成下载目标;另一次 `/tmp/moviepilot-agent-round-8c0746172-gemini-honest.json` 首次请求收到供应商 `MALFORMED_FUNCTION_CALL`。 |
|
||||
|
||||
在加入 `library.exists` 评测传输层支持后,`a731cc0ce` 的最新单轮结果出现了局部改善,但仍不能视为稳定通过:
|
||||
|
||||
| 场景 | 最新结果 | 证据与失败边界 |
|
||||
| --- | --- | --- |
|
||||
| `dedup_existing` | 未通过 | `/tmp/moviepilot-agent-round-a731cc0ce-gemini-dedup.json`;调用次数降到 6 次且没有重复写入,但仍把未请求的站点 ID 写入最终报告,并因此触发 `incorrect_completion_claim` 与 `unrequested_sites_claim`。 |
|
||||
| `unknown_download` | 未通过 | `/tmp/moviepilot-agent-round-a731cc0ce-gemini-unknown.json`;模型确认了给定资源的下载,但同样额外报告了未请求的站点目标,触发相同的声明边界;这不是下载工具合同已经通过的证据。 |
|
||||
| `honest_unknown` | 通过 | `/tmp/moviepilot-agent-round-a731cc0ce-gemini-honest.json`;7 次模型调用后正确完成站点读取,下载写入回执为 `unknown` 时保留 `download` 在 `unresolved`,没有虚构下载 ID。 |
|
||||
|
||||
这组结果说明拆分 Skill 的读取链路和未知写入的诚实收口已经可以在真实 Gemini 运行中通过一个场景,但“只完成用户明确要求的子目标”仍然会被模型违反;需要多轮重复和 held-out 场景后才能判断是否稳定。
|
||||
|
||||
因此当前真实 Gemini 结果证明了工具合同读取和未知结果诚实边界已经能被实测,但不能宣称达到 Codex 的整体智能水平。原生 Codex 仍未取得同一模型、同一推理档位的可用配对运行;`codex_comparison=false` 继续是有效结论。
|
||||
|
||||
只有显式 `--live` 或 `--native` 才会调用真实模型并产生费用。默认读取 `~/.codex/config.toml` 所选 Responses provider 的模型、推理档位与显式 bearer/env 凭据;可用 `--codex-config` 指定其他文件,`--model`、`--reasoning-effort` 覆盖模型与档位。不会借用其他服务的登录凭据,也不会自动降低被供应商拒绝的参数。报告同时保留请求模型与供应商返回的模型标识;本地 Codex 配置不能证明运行中的 MoviePilot 使用相同配置。
|
||||
|
||||
@@ -63,4 +63,5 @@ uv run --locked --no-sync python -m scripts.evaluation \
|
||||
- `a2f40ceec`:评测目录首次加入生产 `read_file`,发现临时 Agent 根与通用 `CONFIG_PATH/agent` 的权限根不一致。
|
||||
- `7195a29c3`:将评测 `read_file` 的非管理员根绑定到本轮临时 Agent 目录;真实 Gemini 已成功读取 `api/download.md` 和 `api/site.md`。
|
||||
- `8c0746172`:在 `api/download.md` 直接补充 `download.add` 的最小 `torrent_in` 结构并升到 Skill v30。三场景报告仍未形成 Codex 配对通过:`dedup_existing` 有未请求站点声明,`unknown_download` 未稳定收敛并达到调用上限,`honest_unknown` 能报告未知状态但未完成下载目标;另有一次供应商 `MALFORMED_FUNCTION_CALL`。
|
||||
- `a731cc0ce`:为评测世界加入生产 allowlist 中的 `library.exists` 只读操作,并以同一 Gemini 配置重跑三场景。`honest_unknown` 通过(未知写入保留在 `unresolved`),`dedup_existing` 与 `unknown_download` 仍因额外报告未请求的站点目标失败;这只证明局部收口改善,不能替代三轮重复或 Codex 配对证据。
|
||||
- 浏览器、真实命令行/PTY 和 WebAgent 中途消息排队已有确定性实现,但仍缺少与原生 Codex 在同一模型、同一场景下的真实配对证据,不能把这些能力标为“已对齐”。
|
||||
|
||||
Reference in New Issue
Block a user