模型与多模态AI 资源

Transformers：统一文本、视觉、音频与多模态模型的推理与训练框架

huggingface/transformers · 🤗 Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both inference and training.

GitHub原文发布未知首次收录 2026-09-14上架 2026-09-14 07:01

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

Transformers 是 Hugging Face 维护的模型定义框架，集中定义文本、计算机视觉、音频、视频和多模态的模型结构，使其在各生态中保持兼容。它既支持推理也支持训练，可对接多种训练框架和推理引擎，并可从 Hugging Face Hub 使用超过 100 万个预训练模型检查点。

# 开源 # Python # LLM # 基础模型 # 多模态

核心能力与快速开始

★ 165478 · Python

能做什么: 提供统一的模型定义与 API，覆盖自然语言处理、计算机视觉、音频、视频和多模态任务；支持推理与训练；可作为不同训练框架（Axolotl、Unsloth、DeepSpeed、FSDP、PyTorch-Lightning 等）和推理引擎（vLLM、SGLang、TGI 等）之间的兼容中枢；提供高层 Pipeline API 处理文本、音频、视觉和多模态任务，并处理输入预处理与输出返回；支持在 PyTorch/JAX/TF2.0 之间移动单个模型；支持通过命令行运行 `transformers serve` 和 `transformers chat` 与模型交互。
适用场景: 文本生成、对话、自动语音识别、图像分类、视觉问答、文档问答、图像描述、命名实体识别、摘要、翻译、目标检测、姿态估计、视频分类、文本转语音、文本转音频等；适用于研究人员、工程师和开发者快速加载并运行预训练模型，或基于 Transformers 提供的模型定义进行训练与微调。
项目形态: 开发框架
部署方式: 未说明。README 提及可从 PyPI 安装或从源码安装，未说明部署条件。（资料提到 `transformers serve` 命令行，但未说明具体服务部署要求）
主要依赖: Python 3.10+，PyTorch 2.5+；建议使用 venv 或 uv 创建虚拟环境；安装方式为 `pip install "transformers[torch]"` 或 `uv pip install "transformers[torch]"`。
使用限制: README 明确说明：该库不是神经网络模块化构建工具箱，模型文件代码有意不做额外抽象，以方便研究者快速迭代；训练 API 针对 Transformers 提供的 PyTorch 模型优化，通用机器学习循环应使用 Accelerate 等库；示例脚本仅为示例，未必能直接适配具体使用场景，需要自行调整代码；从源码安装的最新版本可能不稳定。
许可证: Apache-2.0
最近推送: 2026-09-14 03:07

官方入门项目文档核对 README 依据 ↗

资料检查：2026-09-14 07:00 · 卡片整理：2026-09-14 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

相似资源

TokenSpeed：面向智能体工作负载的高速 LLM 推理引擎

TokenSpeed 是由 LightSeek 基金会开源的 LLM 推理引擎，专为智能体（agentic）工作负载设计，目标是在保持 vLLM 级易用性的同时达到 TensorRT-LLM 级性能。其架构将控制面与执行面分离：控制面用 C++ 实现为有限状态机，借助类型系统在编译期约束请求生命周期与 KV 缓存资源管理；执行面用 Python 实现，便于迭代。内核被设计为一等子系统，通过可移植公共 API、集中注册表和插件机制解耦，文档称其包含面向智能体工作负载的较快 MLA（Multi-head Latent Attention）实现之一，并提及在 Blackwell 平台上的优化以及 Kimi、Qwen、GLM 等模型的适配记录。

AlphaGenome API：访问 DNA 序列调控代码解读模型的 Python 客户端

AlphaGenome API 是 Google DeepMind 提供的编程接口客户端，用于访问 AlphaGenome 模型。该模型可从 DNA 序列中解读调控代码，支持最长 100 万碱基对序列的多模态预测，输出基因表达、剪接模式、染色质特征和接触图谱等，多数输出可达单碱基分辨率。仓库包含客户端代码、示例和文档，并提供对 Atlas 数据集（全基因组预计算变异效应得分、AVI 评分和特征重要性）的访问，以及用于生成 matplotlib 图表的可视化库。

MarkItDown：将文件与办公文档转换为 Markdown 的 Python 工具

MarkItDown 是微软开源的轻量级 Python 工具，用于把 PDF、PowerPoint、Word、Excel、图片、音频、HTML、CSV/JSON/XML、ZIP、YouTube URL、EPub 等多种格式转换为 Markdown，并尽量保留标题、列表、表格、链接等文档结构，主要面向 LLM 与文本分析流水线。它提供命令行与 Python API，支持可选依赖、第三方插件、通过 LLM 生成图片描述，以及 Azure Document Intelligence 与 Azure Content Understanding 云端转换（后者按调用计费，并支持 YAML 结构化字段抽取）。

AlphaGenome Research：统一 DNA 序列模型的科研实现与变体效应预测

AlphaGenome 是 Google DeepMind 提出的统一 DNA 序列模型，可分析最长 100 万碱基对的 DNA 序列，在单碱基分辨率下预测基因表达、剪接模式、染色质特征和接触图等多种模态。本仓库提供该模型的研究代码：基于 JAX 的模型实现、AlphaGenome API 及变体打分器、从 TFRecords 读取训练数据的数据集加载器，以及用于运行模型和评估分析的 Colab notebook。预训练权重可从 Kaggle 或 Hugging Face 下载，需接受非商业模型条款。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。