展开本页目录
开始前准备什么
- 核对具体 Model ID 与协议支持的档位，不支持就记录不支持。
- 同一型号的任务、系统指令、验收标准与轮次固定。
- 以下是已有三款主力设置的关键字段示意，不是完整请求，也不代表兼容字段已独立验证生效。
- 核对支持档位
- 保存真实参数
- 同模型成对测试
- 检查结束状态
- 比较质量费用
20个虚构任务、参考答案、可信测试与空记录模板。没有新模型成绩，不会调用API。
20 个虚构用例。expected 是验收参考，不是模型结果。
60 行未运行占位；未知耗时、通过与实际扣费保留 null。
模型档次和推理档位是两个轴
把轻量型号 high 与旗舰 low 直接比较，可以做具体预算取舍，但需要明确目的。不能把同名参数当作两款同档或同算力的证据。
| 维度 | 解决的问题 | 不能替代 |
|---|---|---|
| 型号档次 | 哪些主流型号放在同组横比 | 一次请求的算力预算 |
| 推理档位 | 同型号这次请求的运行设置 | 厂商型号定位 |
| 输出上限 | 请求允许的生成预算 | 实际思考消耗或公平算力 |
| 完整结束状态 | 是否拿到了全部答案 | 回答正确与否 |
- 维度
- 型号档次
- 解决的问题
- 哪些主流型号放在同组横比
- 不能替代
- 一次请求的算力预算
- 维度
- 推理档位
- 解决的问题
- 同型号这次请求的运行设置
- 不能替代
- 厂商型号定位
- 维度
- 输出上限
- 解决的问题
- 请求允许的生成预算
- 不能替代
- 实际思考消耗或公平算力
- 维度
- 完整结束状态
- 解决的问题
- 是否拿到了全部答案
- 不能替代
- 回答正确与否
保存原生字段，别默默回退
Responses、Messages 与兼容接口的字段语义不同。参数 400 错误应作为配置失败记录；不能悄悄删掉再把两次请求说成同一设置。Gemini 兼容字段的网关透传和上限执行情况，需要独立验证。
已有均衡组关键字段示意；按当前型号文档核对
{
"responses": {
"reasoning": {
"effort": "medium"
},
"max_output_tokens": 4096
},
"messages": {
"thinking": {
"type": "adaptive"
},
"output_config": {
"effort": "medium"
},
"max_tokens": 4096
},
"geminiChatCompatible": {
"reasoning_effort": "medium",
"max_completion_tokens": 4096
}
}
本站绘制的内容说明图：这些字段来自本页均衡组示意，按当前型号核对；同名 medium 不证明相同算力，透传情况需另验。
用同一份修复合同做成对测试
不同型号和不同设置各用独立 configId。configId 是追溯标识，不是参数等效证据；实际协议、预算与透传情况以配置对象为准。
| 控制项 | 怎么固定 | 记录 |
|---|---|---|
| 输入 | 同一 baseline 与同一 prompt | datasetId 与文件校验值 |
| 验收 | 同一独立测试，不允许改测试 | 每项失败原因 |
| 配置 | 只改变已支持的 effort，其他设置保留 | 新 configId，完整请求 |
| 顺序 | 交替运行两个档位，保留全部尝试 | 时间与 trialId |
| 预算 | 输出上限明确；实际消耗另记录 | usage 与截断状态 |
- 控制项
- 输入
- 怎么固定
- 同一 baseline 与同一 prompt
- 记录
- datasetId 与文件校验值
- 控制项
- 验收
- 怎么固定
- 同一独立测试，不允许改测试
- 记录
- 每项失败原因
- 控制项
- 配置
- 怎么固定
- 只改变已支持的 effort，其他设置保留
- 记录
- 新 configId，完整请求
- 控制项
- 顺序
- 怎么固定
- 交替运行两个档位，保留全部尝试
- 记录
- 时间与 trialId
- 控制项
- 预算
- 怎么固定
- 输出上限明确；实际消耗另记录
- 记录
- usage 与截断状态
固定纯计算修复任务
仅修复 retry.py 的 retry_delays(attempts, base_ms, cap_ms)，输出该文件完整内容，不修改测试。全部参数必须是精确 int，bool 和 float 不接受，非法类型抛 TypeError。0<=attempts<=6；1<=base_ms<=cap_ms<=60000，否则 ValueError。返回长度为 attempts 的整数列表，第 i 项从 i=0 开始为 min(base_ms * 2**i, cap_ms)。纯计算，不发送请求、不 sleep、不执行重试、不访问网络。
本站绘制的内容说明图：这是同一修复合同的成对计划，未生成候选成绩；参数配置不同的记录不能静默合并。
相同上限不等于同样消耗
4096 是这里展示的短任务生成上限，不是跨厂商相同可见输出长度或相同推理算力保证。不同模型会把推理、可见文本和其他输出计入不同字段。复杂任务可能需要更大预算；必须事先固定，不能一款截断后临时加预算却只保留成功。
| 情况 | 验收状态 | 处理 |
|---|---|---|
| 达到上限，答案未完成 | truncated | 新配置再测，保留原结果 |
| 请求 medium，但实际映射未知 | 配置证据受限 | 注明未独立验证 |
| usage 未返回推理细项 | reasoning 未知 | 不填 0，不推断没思考 |
| 完整输出，函数行为错 | completed / passed=false | 质量失败，不能称档位有效 |
- 情况
- 达到上限，答案未完成
- 验收状态
- truncated
- 处理
- 新配置再测，保留原结果
- 情况
- 请求 medium，但实际映射未知
- 验收状态
- 配置证据受限
- 处理
- 注明未独立验证
- 情况
- usage 未返回推理细项
- 验收状态
- reasoning 未知
- 处理
- 不填 0，不推断没思考
- 情况
- 完整输出，函数行为错
- 验收状态
- completed / passed=false
- 处理
- 质量失败，不能称档位有效
先看多花的预算有没有换来成功
| 结果 | 可以说 | 不能说 |
|---|---|---|
| 高档位纠正边界错误 | 这组合同的通过改善 | 所有复杂任务都更好 |
| 高档位更慢且结果一样 | 本次任务未观察到额外质量收益 | 高档位永远没用 |
| 低档位截断，高档位完成 | 配置与预算需要分析 | 直接归因到模型更聪明 |
| 两者全过简单题 | 题目区分度不足，增加边界 | 两档能力相同 |
- 结果
- 高档位纠正边界错误
- 可以说
- 这组合同的通过改善
- 不能说
- 所有复杂任务都更好
- 结果
- 高档位更慢且结果一样
- 可以说
- 本次任务未观察到额外质量收益
- 不能说
- 高档位永远没用
- 结果
- 低档位截断，高档位完成
- 可以说
- 配置与预算需要分析
- 不能说
- 直接归因到模型更聪明
- 结果
- 两者全过简单题
- 可以说
- 题目区分度不足，增加边界
- 不能说
- 两档能力相同
公开可见结果，不收集隐藏思维
同型号不同 effort 的配对计划按本页方法单独记录。当前计划生成器是多型号固定短题模板，不自动生成同型号多档位或导入本页代码修复题。
- 保留请求参数、可见答案、结束状态与 usage 即可复现这组验收。
- 不需要索取或公开隐藏思维链、签名与内部推理文本。
- 本页新修复材料还没有模型成绩；已有 27 次短任务统一采用 medium 标签，并已注明跨厂商非等效限制。
怎样确认已经完成
- 具体型号支持的档位和真实请求已核对。
- 改变 effort 就建立新配置，原失败与截断保留。
- 比较同题质量、耗时与实际费用，没有宣称等算力。
- 只公开可见结果与使用量，不把隐藏思维当验收条件。
常见问题
三款都设 medium 是否公平？
它可以统一一个操作标签，但不是等算力。保留各家原生配置、预算和映射限制，再在同任务合同下比较结果。
max_output_tokens 一样，为什么输出长度不同？
输出上限的包含关系与实际消耗不同，推理也可能占用生成预算。需要看当前协议和 usage，不能仅按可见字数判断。
档位越高一定越好吗？
需要同型号成对测试。若简单题都通过，只能说明这组题没有区分出差异，不能直接推断复杂任务表现。