eqx-zoo：将 Hugging Face 预训练模型移植为经数值验证的 Equinox/JAX 模块

xquantize/eqx-zoo · Verified JAX/Equinox ports of Hugging Face LLMs and embedding models: numerically matched against PyTorch, forward and backward, and saved back to Hugging Face formats.

GitHub原文发布未知首次收录 2026-11-06上架 2026-11-06 07:03

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

eqx-zoo 提供 Hugging Face 预训练语言模型和句向量模型的 Equinox 模块实现，加载权重后可与 Transformers 或 sentence-transformers 的参考结果进行逐层和端到端数值对齐验证；模型是标准 pytree，可直接使用 jax.jit、jax.grad 和 jax.vmap，并支持将微调后的模型保存回 Hugging Face 格式。

# Hugging Face # 嵌入 # JAX # Equinox # 预训练模型

核心能力与快速开始

★ 6 · Python

能做什么: 提供经数值验证的 Equinox 模型实现，覆盖 CausalLM 语言模型、Encoder 句向量模型和 DecoderEmbedder 解码器嵌入模型；支持从 Hugging Face Hub 或本地目录加载检查点，执行生成、批量生成和句向量嵌入，并可通过 save_pretrained 保存回 Hugging Face safetensors 格式。语言模型按 float32 逐层输出和贪心生成做验证，bfloat16 下按精度对齐参考实现；编码器和嵌入模型逐层对齐 Hugging Face，并对齐 sentence-transformers 的池化和归一化结果。
适用场景: 适合需要在 JAX 生态中直接使用 Hugging Face 预训练语言模型或句向量模型的开发者；可用于 JAX 下的模型推理、批量文本生成、句向量计算与相似度检索，以及使用任意 JAX 优化器微调嵌入模型后导出为 Transformers、sentence-transformers 或 Hub 可加载的格式。
项目形态: 开发框架
部署方式: 通过 pip 安装 eqx-zoo；Linux NVIDIA GPU（含 WSL2）可安装 cuda extra 获取 JAX CUDA 构建；macOS 和原生 Windows 上 JAX 运行于 CPU。其他部署条件未说明。
主要依赖: Python 3.12+；示例额外需要 tokenizers；GPU 场景需按说明安装对应 JAX CUDA 版本。硬件、内存和显存要求未说明。
使用限制: Transformers v5 已移除 JAX 模型，eqx-zoo 作为替代方案；generate_batch 对混合专家模型当前逐条处理提示；GPU/TPU 上 JAX 默认矩阵乘法可能降低精度，需要设置最高精度以获得接近 float32 的参考结果；预训练权重遵循各自原始作者许可；API 成本、商用限制和性能指标未说明。
许可证: Apache-2.0
最近推送: 2026-11-05 08:09

官方入门项目文档核对 README 依据 ↗

资料检查：2026-11-06 07:00 · 卡片整理：2026-11-06 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

职业应用

程序员

在 JAX/Equinox 项目中加载 Hugging Face 预训练语言模型或句向量模型，作为普通 pytree 直接使用 jax.jit、jax.grad、jax.vmap 进行推理、微调或批量生成；也可将微调后的模型保存回 Hugging Face 格式。

查看内容依据

Every model is an ordinary pytree, so `jax.jit`, `jax.grad`, `jax.vmap` and the rest of the JAX ecosystem work on it directly.

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

MulitiModal：面向按摩椅与日常身心健康场景的中医多模态科研系统

MulitiModal 是一个中医多模态参考研究系统，探索证候分类、体质多维评分与按摩前生理状态分析三条研究路线。项目内嵌受 AutoResearch 启发的自主科研实验闭环，支持证候研究线（基于 TCM-SD 中文主诉文本预测 148 类证候）和体质研究线（基于人口学与人体测量特征预测 8 维偏颇体质得分），并提供只读监控仪表盘、冠军模型交付验收脚本和双模式服务演示。项目明确输出仅供健康参考，不构成医学临床诊断依据，不宣称临床疗效。

Reforge：模块化 LoRA 微调流水线，支持 Hugging Face 语言模型与视觉语言模型

Reforge 是一个面向 Hugging Face 因果语言模型和视觉语言模型的模块化 LoRA 微调流水线，覆盖数据集加载与模式自动识别、文本清洗、分词、训练、LoRA 合并和模型导出。它支持 SFT、原始文本、聊天和多模态四种训练模式，内置基于 EMA 的早停、自动序列长度、断点恢复、交互式本地模型选择，并提供 Tkinter 仪表盘用于配置编辑和实时损失曲线查看。

big-data-ai：用自然语言查询 Iceberg 数据湖的演示应用

这是一个基于 Spring Boot 的实验性演示项目，结合 Apache Iceberg、Apache Spark 与 Spring AI，将用户的自然语言问题转换成 Spark SQL，并在 Iceberg 数据湖（以英国房产交易数据为例）上执行查询。项目包含 Hugging Face Spaces 的 Docker 单容器部署方式与本地 compose 多容器方式，并提供 Admin 页面用于下载 CSV 数据、加载到 Iceberg 表以及清理数据。项目明确标注不适用于生产环境，主要用于实验、快速原型与工作坊教学。

TwelveLabs：视频理解 API 的第三方档案，提供视频索引、语义搜索、文本生成与多模态嵌入接口

该仓库是 API Evangelist 维护的 TwelveLabs 公开 API 第三方档案，不含 TwelveLabs 本身的软件。材料描述了 TwelveLabs 的视频理解基础模型：Marengo 用于搜索与嵌入，Pegasus 用于分析视频并生成文本；API 支持上传与索引视频、跨索引进行以文本或图像为查询的语义搜索、从视频生成标题、主题、标签、摘要、章节、高亮等文本，以及构建覆盖文本、图像、音频、视频的多模态嵌入，接口为 REST，使用 x-api-key 头认证。仓库汇集了各端点的文档、API 参考、OpenAPI、AsyncAPI、Postman 与 Open Collection 等描述文件。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。