展开本页目录
开始前准备什么
- 下载完整练习包，在独立目录阅读README与已执行范围。
- 安装requirements.txt指定版本或使用文中目标工具；依赖与模型权重不要混入网站工程。
- 只有明确标为已执行的部分有本次证据；真实模型、账号或GPU步骤按自己的环境另行验证。
- 记录自有微调模型与原模板
- 审计导出合同缺项
- 使用Unsloth官方GGUF导出入口
- 核对生成文件和元信息
- 分别运行导出前后多轮案例
- 检查重复与停不下来反例
- 交付导出日志与多轮对照
1. 记录自有微调模型与原模板
source_model必须由用户提供真实目录，保存tokenizer、chat_template和EOS/停止词。包内没有伪造GGUF文件或模型权重。
2. 审计导出合同缺项
audit.py要求模板标识和停止词非空；unknown-default负例会改变多轮边界。字段齐全仍不证明模型能正常导出。
本题独立目录执行
bash
python reference/audit.py3. 使用Unsloth官方GGUF导出入口
在支持环境加载真实训练模型并调用save_pretrained_gguf或相应官方方法，记录版本、量化方式、工具链和完整错误。
本题SDK或目标环境入口
bash
python reference/run_sdk.py
4. 核对生成文件和元信息
检查真实GGUF大小、哈希与tokenizer元数据，不用几字节假头文件冒充模型。输出目录放容量足够的外盘。
5. 分别运行导出前后多轮案例
T1第二问必须保留前文Q7，用相同消息和采样测试源模型与目标GGUF runner。独立单轮成功不能证明模板正确。
6. 检查重复与停不下来反例
记录角色串位、回复包含下一轮标签、超长不停止等问题，核对runner模板和stop设置。不要通过随意截字符串掩盖EOS问题。
7. 交付导出日志与多轮对照
包内提供导出脚本与测试数据，未执行Unsloth导出或推理。只有真实文件、元信息和配对答案齐备才算导出验收。
怎样确认已经完成
- GGUF实际可加载
- 模板和停止词保留
- 不能只验文件存在
- 已审计原创GGUF导出合同与多轮测试资产；未加载模型、导出GGUF或推理，未提供任何伪模型二进制。
常见问题
Unsloth微调模型怎么导出成GGUF？
在容量足够的目标环境加载自有微调模型，按Unsloth官方GGUF导出入口保存真实文件及模板元信息。本包没导出也没伪造GGUF。
导出后回答停不下来，怎么检查聊天模板和停止词？
核对源/runner聊天模板、EOS和stop tokens，并用固定多轮案例配对测试。不能用截断字符串掩盖模型停不下来或角色串位。
这篇教程哪些步骤已经真正执行？
已审计原创GGUF导出合同与多轮测试资产；未加载模型、导出GGUF或推理，未提供任何伪模型二进制。