展开本页目录
开始前准备什么
- 下载完整练习包,在独立目录阅读README与已执行范围。
- 安装requirements.txt指定版本或使用文中目标工具;依赖与模型权重不要混入网站工程。
- 只有明确标为已执行的部分有本次证据;真实模型、账号或GPU步骤按自己的环境另行验证。
- 定义团队练习模型和预算
- 先检查三种策略输入
- 在隔离Proxy启用数据库与管理鉴权
- 创建带models和max_budget的Key
- 分别调用允许和禁止模型
- 验证预算阻断与更新周期
- 交付脱敏策略与拒绝回执
1. 定义团队练习模型和预算
只允许training-small,预算示例5为作者设定,不能写成平台赠送额度。真实模型名与费用以自己的Proxy配置为准。
2. 先检查三种策略输入
audit.py分别列出允许、模型不在名单、预计超预算。作者策略判断不是LiteLLM真实HTTP状态码。
本题独立目录执行
python reference/audit.py3. 在隔离Proxy启用数据库与管理鉴权
按当前文档准备key管理依赖,管理密钥仅放本地环境。不要把管理密钥写进示例包、截图或前端页面。
本题SDK或目标环境入口
python reference/run_sdk.py4. 创建带models和max_budget的Key
用管理API创建最小练习Key,保存脱敏配置与key_id,不回显完整密钥。核对budget_duration与预算计费币种。
5. 分别调用允许和禁止模型
记录真实状态码、错误body、路由和支出回读。未知模型与白名单拒绝可能不同,不能统一伪写成403。
6. 验证预算阻断与更新周期
使用可控低成本测试检查预算回读和拒绝原因;支出更新可能有延迟,不承诺精确硬额度或零超支。
7. 交付脱敏策略与拒绝回执
保留Key策略、每次实际结果与预算观测。本文只执行作者策略输入审计,没有生成真实Key或付费调用。
怎样确认已经完成
- 只用练习服务
- 不改生产配额
- 预算拒绝和模型拒绝原因可区分
- 已运行作者模型白名单/预算策略输入检查;未生成LiteLLM虚拟Key、启动Proxy或消费真实模型额度,实际拒绝码未测。
常见问题
LiteLLM怎么给团队分配带模型白名单的虚拟Key?
在有数据库和管理鉴权的隔离Proxy创建带models/max_budget/budget_duration的Key,保留脱敏策略。包内未生成真实Key或赠送额度。
虚拟Key用完预算后,怎么核对真正的拒绝原因?
回读实际状态码、错误body、Key支出和更新周期,区分模型不允许、未知模型、预算不足。作者策略结果不是LiteLLM真实拒绝码。
这篇教程哪些步骤已经真正执行?
已运行作者模型白名单/预算策略输入检查;未生成LiteLLM虚拟Key、启动Proxy或消费真实模型额度,实际拒绝码未测。



