DeepPolisher：基于 Transformer 的基因组组装纠错与抛光工具

google/deeppolisher · Transformer-based sequence correction method for genome assembly polishing

GitHub原文发布未知首次收录 2026-09-17上架 2026-09-17 12:00

ELI5：它是什么，解决什么问题

DeepPolisher 是 Google 开发的基于 Transformer 的序列纠错方法（类似 DeepConsensus），用于识别基因组组装中的错误。它接收单倍型特异的 PacBio HiFi 读段及其比对到分相组装的结果，通过 make_images 与 inference 两步流程，生成包含潜在组装错误的 VCF 文件。当前仅支持 PacBio HiFi 组装与读段数据，模型在 HG002 HiFiasm 二倍体组装上训练，属于研究代码，非医疗器械、不用于临床。

# Google Research # 基因组学 # 数据处理 # 推理 # Transformer

核心能力与快速开始

★ 111 · Jupyter Notebook

能做什么: DeepPolisher 是面向基因组组装抛光的序列纠错方法，架构类似 DeepConsensus。工作分两步：make_images 阶段查看比对到组装的读段，为可能存在组装错误的区域构建张量样本，编码读段碱基、碱基质量、比对质量、匹配/不匹配等特征；inference 阶段将样本输入 Transformer 模型预测该区域序列，与组装序列比较，把观察到的差异作为潜在错误记录进 VCF。输入为经 PacBio HiFi 读段生成的单倍型特异组装（可用 Verkko 或 HiFiasm 等组装器）以及比对到该组装的单倍型特异 PacBio HiFi 读段（可用 HPRC 的 PHARAOH 流程生成），输出为含潜在组装错误的 VCF。
适用场景: 对 PacBio HiFi 组装进行基因组组装抛光并定位潜在组装错误；在单倍型水平上结合分相读段与分相组装评估组装质量；作为基因组学研究与基准评估流程的一部分使用（如 HG002 类样本的研究场景）。
项目形态: 研究实现
部署方式: 可选用 Docker 容器运行（镜像 google/deepconsensus:polisher_v0.1.0），或通过 pip 安装（pip install .[cpu]），命令入口为 polisher。需 Unix-like 操作系统，无法在 Windows 运行，需要 Python 3.8。
主要依赖: Unix-like 操作系统（不支持 Windows）；Python 3.8；pip 安装需 python3-dev、python3-pip，并使用虚拟环境；pysam 需设置 HTSLIB_CONFIGURE_OPTIONS=--enable-plugins；需安装 requirements.txt 中的依赖。外部输入依赖 PacBio HiFi 读段与组装，以及可能的 PHARAOH 分相流程、Verkko 或 HiFiasm 组装器。
使用限制: 当前仅支持 PacBio HiFi 组装与读段，对其他测序数据类型未说明支持。当前发布模型基于 HG002 HiFiasm v0.19.5 二倍体组装训练，训练与评估使用特定染色体划分（chr1-chr19 训练、chr21-chr22 调参、chr20 留出评估），泛化范围未说明。研究代码，非官方 Google 产品，不是医疗器械，也不用于任何临床用途（包括诊断或预后）。项目未搭建外部合并 PR 的基础设施。
许可证: BSD-3-Clause
最近推送: 2025-03-12 00:18

核对 README 依据 ↗

资料检查：2026-09-17 07:00 · 卡片整理：2026-09-17 12:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

相似资源

AlphaGenome Research：统一 DNA 序列模型的科研实现与变体效应预测

AlphaGenome 是 Google DeepMind 提出的统一 DNA 序列模型，可分析最长 100 万碱基对的 DNA 序列，在单碱基分辨率下预测基因表达、剪接模式、染色质特征和接触图等多种模态。本仓库提供该模型的研究代码：基于 JAX 的模型实现、AlphaGenome API 及变体打分器、从 TFRecords 读取训练数据的数据集加载器，以及用于运行模型和评估分析的 Colab notebook。预训练权重可从 Kaggle 或 Hugging Face 下载，需接受非商业模型条款。

TemporalMind：TensorFlow NLP 全流程学习与实验仓库

TemporalMind（仓库名 tf-nlp-modern-stack）是一个面向研究与教学的 NLP 仓库，以连续流水线的方式组织从原始文本清洗、分词与词表构建、主题建模，到 Transformer 下游任务（分类、序列标注、摘要、问答、句子对任务）以及现代 LLM 工作流（提示工程、检索增强生成、适配器与轻量微调）的可复现 notebook 与模块化工具。文档以韩英双语提供，并包含跨语言迁移实验与可复现的评测方法说明。项目自述为教育研究用途，不保证生产可用性。

Transformer Tricks：简化并加速 Transformer 模型的技巧与工具集

Transformer Tricks 是一个围绕 Transformer 模型效率优化的技巧与工具集合，通过移除架构中的冗余组件来提升模型效率。项目包含 slim attention（从 MHA 模型的上下文内存中去除整个 V-cache）、FlashNorm（将 RMSNorm 的权重折叠进后续线性层）、MatShrink（进行中）、第一层预计算、以及为 skipless transformer 仅保留 KV 权重等技巧，并附带论文、讲解视频、Colab notebook 与 Python 包。项目提供 pip 安装的 transformer-tricks 包，以及将基于 RMSNorm 的 HuggingFace 检查点转换为 FlashNorm 变体并发布到 HuggingFace 的转换脚本。

DataFusion Distributed：为 Apache DataFusion 提供分布式查询执行能力的库

DataFusion Distributed 是一个 Rust 库，为 Apache DataFusion 扩展分布式查询执行能力。它并非开箱即用的分布式引擎，而是用于构建分布式引擎的工具包，分布式计划仍是一个普通的 DataFusion 物理计划，只是增加了一些在机器之间传输 Arrow 数据的节点，因此可以以较小改动把已有的单机 DataFusion 系统升级为分布式执行。项目对网络栈不做限定，不区分 coordinator 与 worker，任意节点都可充当协调者或工作节点，并为常见的基于文件的数据源提供默认配置。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。