知识库与 RAG01
Wonky-Wombat/research-lite · A lightweight, local-first research assistant for evidence-grounded literature workflows.
ResearchLite 是一个轻量级、本地优先的研究助手,面向需要证据支撑的文献研究工作流,使用 Python 编写,采用 LangChain、LLM 与 RAG 相关技术方向,并以 Apache-2.0 许可开源。README 仅给出上述简介,未说明具体功能模块、部署方式与使用限制。
模型进展02
谷歌去年推出轻量文本嵌入模型 EmbeddingGemma,开发者们下载了 2000 多万次,用它做本地搜索和增强生成(RAG)。这次发布 EmbeddingGemma 2,把文字、代码、图片、视频和音频统一到同一个嵌入空间,并沿用宽松的 Apache 2.0 商用许可。模型总参数 7.4 亿,量化后在 Pixel 11 Pro 上纯文本内存占用约 191MB,完整多模态约 567MB,远小于不少专门模型。它支持最长 8K token 上下文,可以做本地代码搜索、跨模态检索和离线问答,模型权重已可在 Hugging Face 和 Kaggle 下载,Gemini 企业代理平台稍后上架。
文中可用工具
- EmbeddingGemma 2轻量多模态嵌入模型,可在本地做文字、代码、图片、视频和音频的搜索与检索
- Gemma 4生成模型,与 EmbeddingGemma 2 配合实现本地多模态 RAG
- LiteRT端侧模型部署工具,用于在设备上运行嵌入和检索
- Google AI Edge MediaPipe跨平台应用开发工具,提供嵌入、检索和决策的现成任务
- transformers.js在浏览器中运行模型
- WebGPU浏览器端硬件加速运行模型
- transformers高效部署嵌入模型
- sentence-transformers文本嵌入和相似度计算
- MLX在苹果芯片上高效运行模型
- vLLM高效部署大模型推理
- llama.cpp在不同硬件上高效运行量化模型
- SGLang高效部署大模型推理