文本分块

pgEdge Vectorizer：为 PostgreSQL 文本数据自动分块并生成向量嵌入的扩展

pgEdge/pgedge-vectorizer · A PostgreSQL extension to create chunk tables for existing text data, and populate them with embeddings using your favourite LLM.

pgEdge Vectorizer 是一个 PostgreSQL 扩展，用于对已有文本数据进行异步分块和向量嵌入生成。它通过触发器捕获表数据变更，由后台工作进程调用 OpenAI、Voyage AI、Ollama 或 Gemini 等嵌入提供方生成向量，并支持混合检索（稠密向量 + BM25 稀疏检索，基于 RRF 融合）。扩展提供 SQL 接口用于启用/停用向量化、手动分块、重试失败任务以及通过视图监控队列状态。