展开本页目录
开始前准备什么
- 下载完整练习包，在独立目录阅读README与已执行范围。
- 安装requirements.txt指定版本或使用文中目标工具；依赖与模型权重不要混入网站工程。
- 只有明确标为已执行的部分有本次证据；真实模型、账号或GPU步骤按自己的环境另行验证。
- 生成三个原创构图素材
- 把文件名检索列为负例
- 确认OpenCLIP依赖和权重位置
- 用同一编码器建立图像向量
- 用英文描述发文本检索
- 检验改名和相近构图反例
- 交付图像及真实检索回执
1. 生成三个原创构图素材
red-left、right-blue、center-green分别用颜色、形状和位置区分。所有素材是程序原生绘制，可自由复现实验，无第三方图片冒用。
2. 把文件名检索列为负例
文件名red命中不能证明CLIP理解构图。正式测试可重命名为随机ID，仍保留作者构图标签作人工真值。
本题独立目录执行
bash
python reference/audit.py3. 确认OpenCLIP依赖和权重位置
检查LanceDB官方open_clip嵌入函数的模型/预训练配置，权重放用户指定外盘。本文没有下载或运行模型权重。
本题SDK或目标环境入口
bash
python reference/run_sdk.py
4. 用同一编码器建立图像向量
在目标环境导入实际图片，让表的图片字段与向量函数绑定。不要拿手工二维向量替代图像嵌入后称为CLIP实测。
5. 用英文描述发文本检索
相同跨模态编码器生成query向量，保存实际top-k、距离和模型版本。位置关系是难点，结果差也必须保留。
6. 检验改名和相近构图反例
重命名图片再检索，加入左右互换或同色不同形状，检查结果是否真正依据图像。不能只展示恰好成功的一条。
7. 交付图像及真实检索回执
包内包含原创素材与可配置目标脚本，真实embedding和结果保持未测；只有跑过目标模型后才能宣称文字找图成立。
怎样确认已经完成
- 不使用文件名泄漏答案
- 原图和结果可回读
- 图像模型许可证明确
- 已生成原创颜色/形状/位置图库并审计检索输入；未下载OpenCLIP权重或执行语义图片搜索，目标脚本单独提供。
常见问题
LanceDB怎么用一句话搜索自己的图片库？
真实图库和文本query要用同一个跨模态编码器，图片字段接对应embedding函数。本包只生成原创构图素材，未下载CLIP权重。
CLIP图片搜索怎么避免靠文件名猜中答案？
随机改名后继续用颜色/形状/位置描述测试，并加入左右互换负例。文件名匹配或手工向量结果不能冒称CLIP语义搜索。
这篇教程哪些步骤已经真正执行？
已生成原创颜色/形状/位置图库并审计检索输入；未下载OpenCLIP权重或执行语义图片搜索，目标脚本单独提供。