展开本页目录
开始前准备什么
- 先确定任务、允许输入和验收条件，再核对当前模型目录中的准确 ID 与协议。
- 平台目录可见不等于测试 Key 有权限；公开最低报价也不等于账号实扣。
- 下载虚构任务材料，保持各候选输入一致；真实数据应先脱敏。
- 确定任务
- 选同档候选
- 固定样本
- 核对结果与费用
- 生成接入配置
下载中文任务与验收材料
本批离线夹具与空记录模板，不包含新增模型成绩或 API Key。代码候选先人工检查，再在隔离环境验收。
轻量候选必须使用准确版本
三 ID 已出现在 2026-10-09 公开目录，但没有证明任何账号权限。Haiku 5.5 不沿用 Haiku 4.5 的历史回答；Flash-Lite 也不把 Flash 的成绩作为自己结果。
| 候选 | 准确 ID | 验证重点 |
|---|---|---|
| GPT-6 Luna | gpt-6-luna | Responses 参数与结构化字段 |
| Claude Haiku 5.5 | claude-haiku-5-5 | Messages、实际接受的思考设置 |
| Gemini 3.5 Flash-Lite | gemini-3.5-flash-lite | 兼容路径、预算和完成状态 |
- 候选
- GPT-6 Luna
- 准确 ID
- gpt-6-luna
- 验证重点
- Responses 参数与结构化字段
- 候选
- Claude Haiku 5.5
- 准确 ID
- claude-haiku-5-5
- 验证重点
- Messages、实际接受的思考设置
- 候选
- Gemini 3.5 Flash-Lite
- 准确 ID
- gemini-3.5-flash-lite
- 验证重点
- 兼容路径、预算和完成状态
短任务也要加入容易答错的反例
只测简单单一意图会高估轻量模型。加入多意图、信息不足、否定句和不允许操作的资料，检查分类与人工转接规则。这里是一份虚构测试提示，不是已得到的模型回答。
text
text
将消息分类为 billing / integration / account / other；涉及退款或身份必须 needs_human=true。
消息：我想退款，但实际问题是轮换Key后服务仍返回401。
输出category、needs_human和不超过30字的理由。不得要求完整Key，不得承诺退款。
本站绘制的内容说明图：这是本页虚构反例提示，未产生模型结果；多意图和权限规则比简单单一意图更能暴露错误。
升级条件写进规则，别把重跑当升级
| 出现情况 | 应做什么 | 保留什么记录 |
|---|---|---|
| 字段缺失或格式错误 | 标记未达标，查原始结果 | 样本ID、配置、校验原因 |
| 关键事实无法确认 | 转人工或给出缺失信息 | 未知原因，不能编造 |
| 需要多文件分析或长工具链 | 进入均衡主力或复杂候选组 | 另建配置与任务版本 |
| 请求结果未知 | 先查请求状态，不自动重发 | 提交状态和脱敏请求ID |
- 出现情况
- 字段缺失或格式错误
- 应做什么
- 标记未达标，查原始结果
- 保留什么记录
- 样本ID、配置、校验原因
- 出现情况
- 关键事实无法确认
- 应做什么
- 转人工或给出缺失信息
- 保留什么记录
- 未知原因，不能编造
- 出现情况
- 需要多文件分析或长工具链
- 应做什么
- 进入均衡主力或复杂候选组
- 保留什么记录
- 另建配置与任务版本
- 出现情况
- 请求结果未知
- 应做什么
- 先查请求状态，不自动重发
- 保留什么记录
- 提交状态和脱敏请求ID
本站绘制的内容说明图：升级是任务与配置版本变化；请求未知须先回查，不用重跑掩盖失败成本。
高频任务先测质量，再测稳定速率
单请求快不代表批量吞吐好。并发、排队、限流和失败恢复需要另一个明确测试计划。先在少量固定样本上达到要求，再记录固定并发下的全部尝试；不要只展示最快一次。
完整费用包含未达标的尝试
一个型号基础报价低，但需要多轮修正，可能提高每个有效任务的成本。控制台没有匹配的费用不能记成零，也不能假设失败免费。准备轻量与主力的共同样本，通过率、人工修改和实扣一起比较。
怎样确认已经完成
- 型号、协议、参数、样本和测试版本都有记录，不混入其他档次的结果。
- 成功、失败、截断与未知请求分别保留；未完成任务不算达标。
- 实际费用与控制台逐次匹配，缺失保持未知；通过短任务以后再验收完整应用流程。
常见问题
轻量模型能用于所有客服消息吗？
应先验收自己的规则。多意图、退款、身份和缺失资料要有明确人工转接与停止条件，不能把短分类成功当成自动处理业务的权限。
为何页面没有轻量组胜负？
本批提供候选、固定材料与记录工具，尚未做该组在线对照。只有离线夹具通过，不能当作模型成绩。