CSIRO 利用无服务器架构在 AWS 上查询的基因组变异数量提升 100 倍
澳大利亚科研机构 CSIRO 做了一个叫 Serverless Beacon 的系统,用来查询基因组变异。以前的难点是:要查变异数据,通常得先把体积庞大的 VCF 文件整个复制进一个中心数据库,费时费钱。新办法不搬数据,而是直接用 Amazon S3、Lambda、Athena 和 DynamoDB,配合元数据索引和对压缩文件的 HTTP 字节区间读取,只取需要的那一小段来查。测试中,查询 1 万个碱基对平均耗时 1.52 秒。对研究者来说,这意味着不必先复制整份数据就能更快检索变异信息;不过目前只是测试结果,是否已开放使用原文没说。
文中可用工具
- Serverless BeaconCSIRO 开发的无服务器基因组变异查询系统
- Amazon S3存储基因组数据文件
- Lambda无服务器计算,按需执行查询逻辑
- Athena对存储数据做查询分析
- DynamoDB存放元数据索引
评论 · 分享第一个看法