展开本页目录
开始前准备什么
- 下载完整练习包，在独立目录阅读README与已执行范围。
- 安装requirements.txt指定版本或使用文中目标工具；依赖与模型权重不要混入网站工程。
- 只有明确标为已执行的部分有本次证据；真实模型、账号或GPU步骤按自己的环境另行验证。
- 保留候选次序和人工标签
- 用交换顺序建立反例
- 选择合适的Context Precision变体
- 保持候选内容与数量一致
- 运行指标并保存判断依据
- 检查人工与模型分歧
- 交付排名质量与分歧表
1. 保留候选次序和人工标签
r1/r3相关，r2/r4无关；每条标签要能回读人工依据。只有相关数2不能说明前排质量。
2. 用交换顺序建立反例
audit.py原排序参考分为5/6，交换后为5/12，相关总数仍是2。分数是作者按排名计算，不冒称Ragas实际评测。
本题独立目录执行
bash
python reference/audit.py3. 选择合适的Context Precision变体
有人工reference_contexts可选非LLM版本；使用LLM版本时按当前类所需reference或reference_contexts提供列，不能缺字段强跑。
本题SDK或目标环境入口
bash
python reference/run_sdk.py
4. 保持候选内容与数量一致
比较时只改顺序，不改返回条数或语料。另存每次retriever结果的rank、ID、文本和分数。
5. 运行指标并保存判断依据
在目标Ragas环境保存真实score；LLM相关性判断还要留理由。没有模型调用的版本也应说明字符串匹配规则与局限。
6. 检查人工与模型分歧
把人工相关而模型不相关、及反向情况分别列出，回读原文。不要为了分数好看直接改人工真值。
7. 交付排名质量与分歧表
保留人工AP参考、真实Ragas指标与换序结果。本文只运行人工排名基准，没有真实Ragas或LLM评判结果。
怎样确认已经完成
- 相关标签保留人工依据
- 检索候选数不变
- 无reference不能装作有reference版本
- 已实际运行Ragas非LLM Context Precision字符串指标，原排序高于换序；人工AP另列，未运行LLM语义相关性评判。
常见问题
Ragas怎么检查检索结果前排是不是相关文档？
保留排名与每条相关依据，分别比较原排序和换序。真实非LLM Ragas字符串指标本包约0.8333降至0.4167。
人工相关标签和模型评判不一致时怎么查原因？
将人工标签、文本匹配或LLM判定逐条并列，回读问题/参考与上下文。字符串相似不等于语义正确，本文未执行LLM相关性评判。
这篇教程哪些步骤已经真正执行？
已实际运行Ragas非LLM Context Precision字符串指标，原排序高于换序；人工AP另列，未运行LLM语义相关性评判。