模型与多模态工具
clip_search：基于多语言 CLIP 与 FAISS 的文本-图像零样本相似检索应用
Cherie01234/clip_search · 多言語CLIP×FAISSによるテキスト・画像のゼロショット類似検索（日本語クエリ対応）。Streamlitアプリ
ELI5：它是什么，解决什么问题
该项目用多语言 CLIP 模型（open-clip-torch 的 xlm-roberta-base-ViT-B-32）把图片和文本编码到同一 512 维向量空间，经 L2 归一化后用 FAISS 做内积（余弦相似度）近邻检索，并通过 Streamlit 提供搜索界面。支持用日语或英语关键词以及手持图片在图片集合中做零样本语义检索；仓库附带脚本可先从图片目录构建索引再启动应用，还提供示例图片用于快速试用。README 说明作者曾在 Kaggle 时尚商品图片数据集约 4.4 万张图片上构建索引进行演示，但未做 Recall@K 等定量精度评估。
核心能力与快速开始
★ 0 · Python
- 能做什么
- 用多语言 CLIP 将图片和文本（含日语查询）嵌入同一向量空间，用 FAISS 做余弦相似度近邻检索，实现以文搜图和以图搜图的零样本语义检索；提供从图片文件夹构建索引的脚本、Streamlit Web 搜索界面，以及 Windows 一键启动批处理；测试覆盖 FAISS 近邻排序与索引保存/读取。
- 适用场景
- 从没有标签或描述文字的图片库中按语义查找相似图片；用日语或英语关键词检索商品图等图片集合；用示例图片快速验证本地图片语义搜索流程。
- 项目形态
- 可直接使用的工具
- 部署方式
- 在本地运行：创建 Python 虚拟环境并安装 requirements.txt，先运行 build_index.py 构建索引，再用 streamlit run app.py 启动，默认访问 http://localhost:8501；Windows 可使用 app_start.bat。
- 主要依赖
- 需要 Python 环境与 requirements.txt 中的依赖（open-clip-torch、faiss-cpu、Streamlit 等）；需要准备待检索的图片目录（支持 .jpg .jpeg .png .webp .bmp）。硬件配置和模型下载细节未说明。
- 使用限制
- 未进行基于正解标签的定量精度评估（如 Recall@K）；示例图片仅为用于动作确认的简易图标；仓库不包含演示用图片数据和已生成索引；多语言模型对日语的支持来自 XLM-RoBERTa 文本塔，具体效果未量化说明；部署成本与商用条件未说明。
- 许可证
- MIT
- 最近推送
- 2026-11-01 09:30
资料检查：2026-11-02 07:00 · 卡片整理：2026-11-02 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证
职业应用
程序员
作为可复用的多语言 CLIP + FAISS 图像语义检索应用代码库，程序员可参考其 encoder.py、indexer.py、build_index.py 与 Streamlit app.py 的实现，用于构建文本/图像零样本相似检索功能，并借助其 pytest 与 GitHub Actions CI 配置了解测试与持续集成做法。
查看内容依据
多言語CLIP（open-clip-torch の `xlm-roberta-base-ViT-B-32`）で画像とテキストを同じ512次元のベクトル空間に埋め込み、L2正規化したベクトルを FAISS（内積＝コサイン類似度）で近傍検索。Streamlitで検索画面を提供
由 AI 根据来源材料整理，未进行安装或运行验证
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。