展开本页目录
开始前准备什么
- 下载完整练习包，在独立目录阅读README与已执行范围。
- 安装requirements.txt指定版本或使用文中目标工具；依赖与模型权重不要混入网站工程。
- 只有明确标为已执行的部分有本次证据；真实模型、账号或GPU步骤按自己的环境另行验证。
- 建立可人工追溯的小语料
- 区分作者题与合成题
- 设置persona与场景分布
- 用Ragas构建KnowledgeGraph
- 生成并保存问题和reference_contexts
- 人工核对多跳与泄漏
- 交付可追溯测试资产
1. 建立可人工追溯的小语料
D1把项目连到设备，D2连维护组，D3连维护窗口，D4提供相近干扰。跨文档问题必须真的用到至少两份来源。
2. 区分作者题与合成题
author_questions是人工真值，negative仅引用D1不能当多跳。audit.py只审计来源覆盖，不调用Ragas生成测试集。
本题独立目录执行
bash
python reference/audit.py3. 设置persona与场景分布
为新成员和维护主管定义不同信息需求，再配置单跳/多跳比例。persona是覆盖目标，不是随意换角色名称刷题数。
本题SDK或目标环境入口
bash
python reference/run_sdk.py
4. 用Ragas构建KnowledgeGraph
在授权模型环境导入四份材料并执行变换，保存节点、关系与生成场景。图关系抽错会把无答案问题带进测试集。
5. 生成并保存问题和reference_contexts
按当前Ragas合成器生成测试样本，保留原始question、参考上下文和source ID，不能把作者题塞进结果冒充合成。
6. 人工核对多跳与泄漏
逐题检查答案能否从真实来源推出、是否只问了一个片段、是否直接把答案写在问题里；无答案与含糊题单独剔除。
7. 交付可追溯测试资产
保存生成参数、persona分布、保留/剔除理由与最终测试集。合成答案不自动是真值，本包没有执行Ragas合成或模型。
怎样确认已经完成
- 至少两来源的多跳题有证据
- 合成答案不自动当真值
- persona覆盖分布可查
- 已构造真实Ragas SingleTurnSample及作者多跳来源审计；问题与参考由作者提供，未执行知识图谱变换或AI合成。
常见问题
Ragas怎么从自己的材料生成多跳测试题？
在授权模型环境构建Ragas知识图及persona/多跳场景并保留reference_contexts。本文真实构造样本schema，未运行AI合成。
AI合成的测试集怎么排除无答案和答案泄漏？
逐题回查至少两份确需使用的来源，删除无答案、仅单跳和把答案写进问题的样本。合成答案不能自动被当成人工真值。
这篇教程哪些步骤已经真正执行？
已构造真实Ragas SingleTurnSample及作者多跳来源审计；问题与参考由作者提供，未执行知识图谱变换或AI合成。