展开本页目录
开始前准备什么
- 先确定任务、允许输入和验收条件，再核对当前模型目录中的准确 ID 与协议。
- 平台目录可见不等于测试 Key 有权限；公开最低报价也不等于账号实扣。
- 下载虚构任务材料，保持各候选输入一致；真实数据应先脱敏。
- 确定任务
- 选同档候选
- 固定样本
- 核对结果与费用
- 生成接入配置
下载中文任务与验收材料
本批离线夹具与空记录模板，不包含新增模型成绩或 API Key。代码候选先人工检查，再在隔离环境验收。
复杂任务候选与可变项
Anthropic 将 Opus 用于多数工作负载，也提供面向更苛刻问题的 Fable；不能把每家最贵的一款简单当成能力等值。这里优先常用复杂工作候选。正式型号以当前目录为准，零散示例里出现的名称不自动加入。
| 候选 | 准确 ID | 先确认 |
|---|---|---|
| GPT-6 Astra | gpt-6-astra | Responses、推理设置与实际预算 |
| Claude Opus 5.5 | claude-opus-5-5 | Messages、工具回合与默认思考设置 |
| Gemini 3.1 Pro Preview | gemini-3.1-pro-preview | Preview 生命周期、接口与通道能力 |
- 候选
- GPT-6 Astra
- 准确 ID
- gpt-6-astra
- 先确认
- Responses、推理设置与实际预算
- 候选
- Claude Opus 5.5
- 准确 ID
- claude-opus-5-5
- 先确认
- Messages、工具回合与默认思考设置
- 候选
- Gemini 3.1 Pro Preview
- 准确 ID
- gemini-3.1-pro-preview
- 先确认
- Preview 生命周期、接口与通道能力
本站绘制的内容说明图：候选 ID 来自本页复杂任务分组，不是三款已完成同题实测或等算力认证。
用有反例的任务代替更长的闲聊
高能力模型也会误解边界。隐藏的独立测试、只允许的文件范围和同一输入比回答篇幅更有区分度。下载材料中的可信测试可以先跑错误 baseline；模型交付代码需人工审查后在隔离环境验证。
text
text
在同一测试仓库修复数量解析：输入必须是字符串，接受带符号 ASCII 整数或完整十进制小数，以及 g/kg/个；允许两端和数字单位间空白，返回 (Decimal, 单位)，保留精度和输入小数位。拒绝非字符串、科学计数、NaN、逗号、尾部说明和非 ASCII 数字；不能删除原失败用例。只修改约定实现文件，解释异常行为，完成后列出真实测试结果。记录默认配置与受控配置，别合并成绩
复杂任务往往需要更多生成预算和工具回合。统一一个很小上限会使思考与有效输出互相挤占；各家 medium 也不是相同算力。可以分别做默认体验与受控预算两轮，但每轮的配置、完成状态和限制要分开保存。
本站绘制的内容说明图：两轮设置不混合成绩；图中没有新增模型结果或假定成功率。
Preview 候选需要先建立替代与回归路径
预览型号的名称、能力、限额和服务状态可能变化。保存实际响应 ID、日期和接受的参数，准备已经通过同任务验收的备用候选；不要将历史结果自动移植到新版本。切换路由以后重新测试。
先做小样本，确认接入再扩大
首次以少量真实任务验证协议、权限和完成状态，再扩大到反例、长任务和重复运行。未知请求不能自动重发；任务成本包含失败、人工返工和工具回合。此组目前只有计划与离线材料，未进行本批付费请求。
怎样确认已经完成
- 型号、协议、参数、样本和测试版本都有记录，不混入其他档次的结果。
- 成功、失败、截断与未知请求分别保留；未完成任务不算达标。
- 实际费用与控制台逐次匹配，缺失保持未知；通过短任务以后再验收完整应用流程。
常见问题
主力组全部通过，为什么还需要复杂任务组？
短字段和工具提案任务无法检查跨文件约束、长任务协作或证据冲突。先增加难度明确的共同任务，再判断升级是否有实际价值。
Preview 能作为唯一生产候选吗？
应根据自己的风险要求判断，并先核对当前服务条件。页面提供生命周期与备用验收提醒，不保证预览型号的可用性、稳定性或网关全部功能。