展开本页目录
开始前准备什么
- 先确定任务、允许输入和验收条件，再核对当前模型目录中的准确 ID 与协议。
- 平台目录可见不等于测试 Key 有权限；公开最低报价也不等于账号实扣。
- 下载虚构任务材料，保持各候选输入一致；真实数据应先脱敏。
- 确定任务
- 选同档候选
- 固定样本
- 核对结果与费用
- 生成接入配置
下载中文任务与验收材料
本批离线夹具与空记录模板，不包含新增模型成绩或 API Key。代码候选先人工检查，再在隔离环境验收。
四类代码任务，用不同验收方式
| 任务 | 固定输入 | 必须通过 |
|---|---|---|
| 修复已有函数 | 错误实现、原失败测试 | 原测试与新增边界通过 |
| 新增功能 | 接口约束、允许修改的文件 | 功能正确，不破坏旧行为 |
| 重构 | 现有实现、性能和公共接口要求 | 行为不变，diff在约定范围 |
| 代码审查 | 固定版本、已知风险与无风险反例 | 问题有行号和证据，误报单列 |
- 任务
- 修复已有函数
- 固定输入
- 错误实现、原失败测试
- 必须通过
- 原测试与新增边界通过
- 任务
- 新增功能
- 固定输入
- 接口约束、允许修改的文件
- 必须通过
- 功能正确，不破坏旧行为
- 任务
- 重构
- 固定输入
- 现有实现、性能和公共接口要求
- 必须通过
- 行为不变，diff在约定范围
- 任务
- 代码审查
- 固定输入
- 固定版本、已知风险与无风险反例
- 必须通过
- 问题有行号和证据，误报单列
本站绘制的内容说明图：此页按任务类型固定验收，不把代码长度、回答速度或模型自称完成当结果。
先用同档主力，扩大任务难度时另立组
GPT-6.1 Sol、Sonnet 5.5、Gemini 3.8 Flash 是本批主力候选。现有九份短任务只验证输出契约，没有证明仓库代码能力。把这三款收到的代码和约束保持一致；Astra、Opus 与 Pro 则在复杂任务组对照。
下载可失败的 baseline 和独立测试
材料中的数量解析任务覆盖带符号小数、零、空白单位、前导零、超长精度与非法类型；验收要求以包内文字合同和独立测试为准。先运行可信 baseline，确认任务确实能暴露错误；模型只能修改指定实现。
模型返回代码不得直接执行。先检查依赖、文件范围和副作用，再在无凭据的隔离环境复跑可信测试，保留原始回答与 diff。
本站绘制的内容说明图：下载材料是可失败的仓库 fixture，不是已产生的模型成绩；候选代码不能直接自动执行。
一次代码回答与完整 Agent 任务分开记
SDK 返回一段实现，只能说明代码候选已生成。CLI 任务要检查它实际读取了哪些文件、工具是否执行、测试结果是否来自真实输出、是否修改无关文件。客户端版本和工具权限必须相同；一个允许联网安装依赖、另一个禁止联网的结果不能直接归为模型差异。
按达标任务和返工选择，不按一次回答选冠军
先统计同一批任务的全部尝试，通过率与未知状态单列。再核对已确认费用和人工修改时间。没有共同任务、不同配置或账单缺失时，结果分析器会标出不足；不能将缺失算零或把重试抹掉。
怎样确认已经完成
- 型号、协议、参数、样本和测试版本都有记录，不混入其他档次的结果。
- 成功、失败、截断与未知请求分别保留；未完成任务不算达标。
- 实际费用与控制台逐次匹配，缺失保持未知；通过短任务以后再验收完整应用流程。
常见问题
通过率需要多少样本才有意义？
没有适用于所有代码工作的固定数量。至少覆盖你的任务类别、常见失败和边界；少量材料用于筛选与调试，不外推为全行业编程排名。
能让模型自己写测试并判断通过吗？
可以作为补充，但不代替可信的独立验收。保留原失败测试，核对测试真实运行，避免它修改验收规则来获得通过。