展开本页目录
开始前准备什么
- 下载 long-document.txt 与 cases.json，保留相同片段 ID。
- 确认输入没有被客户端或网关截断；实际 Token 数用对应接口统计。
- 本页先测给定全文回答，不包含检索器、网页搜索或生产知识库质量。
- 确认全文版本
- 固定四道问题
- 检查答案状态
- 核对支持片段
- 另测检索链路
下载完整离线任务材料
20个虚构任务、参考答案、可信测试与空记录模板。没有新模型成绩，不会调用API。
下载 120 段虚构全文
稳定 L001–L120 片段 ID；字符长度不是 Token 长度。
下载引用问题与人工支持集合
包含无答案、冲突和跨段组合任务。
下载空结果 CSV 模板
未执行任务的通过、耗时和实扣为空；CSV转JSON需携带各型号configs。
让关键证据分散，而不是只测首尾关键词
完整材料有 120 段，片段间距用于检查证据定位；其中 L063 与 L118 相隔 55 个编号。填充段只提供归档背景，不暗含题目答案。文档字符数可核对，但不同 tokenizer 的 Token 数不能由段数推断。
全文中的三个真实片段；省略部分见下载文件
text
[L004] 映月书展最初计划于2026年6月3日开场，但要等待场地审批。最初计划不能视为实际开场日。
…
[L063] 场地审批记录由张瑞负责归档，最终场地支出为9,600.00元。这里的归档负责人不是开场主持人。
…
[L118] 场地最终获批后，映月书展实际于2026年6月18日开场。张瑞的归档职责未发生变更。
本站绘制的内容说明图：这是下载全文的真实片段内容，材料本身为虚构；段数不证明某个固定 Token 长度。
用回答状态处理无答案与材料矛盾
| 状态 | 答案字段 | 引用字段 |
|---|---|---|
| answered | 材料能支持的简洁答案 | 所有必需支持片段 |
| unknown | null | []，不拿无关段落补出处 |
| conflicting | null | 互相矛盾且未解决的片段 |
- 状态
- answered
- 答案字段
- 材料能支持的简洁答案
- 引用字段
- 所有必需支持片段
- 状态
- unknown
- 答案字段
- null
- 引用字段
- []，不拿无关段落补出处
- 状态
- conflicting
- 答案字段
- null
- 引用字段
- 互相矛盾且未解决的片段
固定输出合同
text
只依据带片段 ID 的全文回答。输出 JSON：status 为 answered、unknown 或 conflicting；answer 为简洁字符串或 null；citations 为支持结论的片段 ID 数组。没有答案时 answer=null、citations=[]；未能解决的材料矛盾用 conflicting 并列出相互矛盾的片段。只能引用实际支持答案的段落，不能用相邻填充段凑数。
问题：请用“负责人；日期”格式给出场地审批记录归档负责人和实际开场日期。四道问题分别检查什么
| 问题 | 人工预期 | 支持片段 |
|---|---|---|
| 实际开场日 | 2026-06-18，而非原计划 6 月 3 日 | L118 |
| 开场主持人 | unknown；张瑞只负责归档 | 无 |
| 投稿截止日 | conflicting；两份草案没有版本先后 | L030、L090 |
| 归档负责人；实际日期 | 张瑞；2026-06-18 | L063、L118 |
- 问题
- 实际开场日
- 人工预期
- 2026-06-18，而非原计划 6 月 3 日
- 支持片段
- L118
- 问题
- 开场主持人
- 人工预期
- unknown；张瑞只负责归档
- 支持片段
- 无
- 问题
- 投稿截止日
- 人工预期
- conflicting；两份草案没有版本先后
- 支持片段
- L030、L090
- 问题
- 归档负责人；实际日期
- 人工预期
- 张瑞；2026-06-18
- 支持片段
- L063、L118
跨段组合的作者参考答案
json
{
"status": "answered",
"answer": "张瑞；2026-06-18",
"citations": [
"L063",
"L118"
]
}
本站绘制的内容说明图：这些是作者验收预期，不是模型实测；跨段答案必须引用支撑结论的对应证据。
引用存在和引用有效是两件事
离线 grader 不计引用顺序，但拒绝重复、遗漏和无关 ID。这个严格集合合同适合小型可控材料；真实文档可能有多组等价证据，应由作者提前列出可接受集合。
| 回答 | 为什么不通过 | 检查 |
|---|---|---|
| 日期正确，引用 L117 | 相邻填充段不支持日期 | 逐段看语义支持 |
| 回答张瑞是主持人 | 把归档职责扩大成主持职责 | 角色不能推断 |
| 挑草案乙作为最终日 | 材料没有给出版本先后 | 保留冲突 |
| 列一堆 ID，其中含 L118 | 混入不相关引用会降低可核查性 | 这份合同只接受必要支持集合 |
- 回答
- 日期正确，引用 L117
- 为什么不通过
- 相邻填充段不支持日期
- 检查
- 逐段看语义支持
- 回答
- 回答张瑞是主持人
- 为什么不通过
- 把归档职责扩大成主持职责
- 检查
- 角色不能推断
- 回答
- 挑草案乙作为最终日
- 为什么不通过
- 材料没有给出版本先后
- 检查
- 保留冲突
- 回答
- 列一堆 ID，其中含 L118
- 为什么不通过
- 混入不相关引用会降低可核查性
- 检查
- 这份合同只接受必要支持集合
先确认读到了全文，再讨论长上下文能力
- 保存文档文件校验值、实际请求输入、模型 ID 与输出预算；没有完整输入证据时，不能声称测试了全文。
- 全文较长时先看 Token 计数和输入限制，超限报错与引用错误分开。
- 输入能够容纳不保证每段都会被正确使用；片段 ID 对了仍要检查支持关系。
- 本材料没有按 32K、128K 等 Token 定长，不能拿字符数当厂商上下文测量。
检索应用要再加一层验收
如果业务用 RAG，先测检索器有没有找到 L063 和 L118，再测生成器有没有正确引用。漏检与读错证据的修复路径不同。这里的全文夹具没有执行检索，也没有产生真实模型成绩。
怎样确认已经完成
- 片段 ID 与完整文件一致，输入没有被截断。
- 计划日期没有替代实际日期，角色没有被扩大。
- 无答案与未决矛盾分别输出 unknown、conflicting。
- 跨段组合有全部必要证据，没有用填充段凑引用。
常见问题
120 段相当于多少 Token？
没有固定换算。材料记录 Unicode 字符数和片段数，Token 需按当前接口与 tokenizer 统计。
为什么引用多了也会不通过？
这份小型合同要求引用真实且必要的支持片段。乱加无关 ID 会让读者难以核对；真实文档的等价证据集合应提前定义。
这个测试证明 RAG 已经可用吗？
不证明。它只提供全文回答夹具。检索召回、切片、排序与引用展示都要在自己的链路另测。