pgEdge Vectorizer：为 PostgreSQL 文本数据自动分块并生成向量嵌入的扩展

核心能力与快速开始

★ 41 · PLpgSQL

能做什么

提供 PostgreSQL 扩展形式的异步文本分块与向量嵌入生成能力：自动对配置列进行分块（token_based 等策略，可配置 chunk_size 与 overlap）；通过后台工作进程异步调用嵌入提供方（OpenAI、Voyage AI、Ollama、Gemini，支持自定义 api_url 以对接本地或代理端点）；支持批量处理、失败重试（指数退避）与队列自动清理；数据同步方面，源行删除或表截断时会自动清理分块、嵌入、队列项与 BM25 统计；提供 SQL 函数（enable_vectorization、disable_vectorization、chunk_text、retry_failed、clear_completed、refresh_triggers、show_config）与监控视图（queue_status、failed_items、pending_count）；可选的混合检索将稠密向量相似度与 BM25 关键词排名通过 Reciprocal Rank Fusion 融合，并提供 hybrid_search 与 hybrid_search_simple 函数。

适用场景

在 PostgreSQL 数据库内为已有文本表（如文章、文档）快速构建向量检索能力；为语义相似度查询生成可 JOIN 的分块嵌入表；为包含专有名词或技术术语的查询启用稠密向量与 BM25 结合的混合检索；对本地或自托管场景使用 Ollama 生成嵌入；对嵌入队列做状态监控与失败重试。

项目形态

开发框架

部署方式

作为 PostgreSQL 扩展编译安装（make / make install），需在 postgresql.conf 中配置 shared_preload_libraries = 'pgedge_vectorizer' 及数据库、提供方、API 密钥文件等参数，并重启 PostgreSQL。

主要依赖

PostgreSQL 14 或更高版本；pgvector 扩展；libcurl 开发文件；使用 OpenAI、Voyage AI 或 Gemini 时需要 API 密钥（Ollama 无需）。

使用限制

嵌入质量与可用性依赖所选提供方的模型，API 调用可能产生费用，材料未说明具体成本；工作进程数受 max_worker_processes 限制，提升 num_workers 超出可用槽位无效；语义分块、Markdown 感知分块、基于句子的分块仍在路线图中尚未实现；许可证字段为 NOASSERTION，材料未明确许可与商用条件。

许可证

NOASSERTION

最近推送

2026-10-01 23:11

资料检查：2026-10-16 07:00 · 卡片整理：2026-10-16 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

职业应用

程序员

在 PostgreSQL 数据库开发中，为已有文本数据表启用自动分块与向量嵌入生成，通过 SQL 接口 enable_vectorization 配置，由后台工作进程异步调用 OpenAI、Voyage AI、Ollama 或 Gemini 生成向量，并可用 hybrid_search 实现稠密向量与 BM25 稀疏检索的混合检索。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证