← 返回列表

用云身份换取自有身份:托管计算环境中的工作负载证明

Netflix Tech Blog原文发布 2026-09-26 00:01首次收录 2026-09-26上架 2026-09-26 07:13

☆ 收藏查看原文 ↗

这件事讲了什么

Netflix 工程团队在 Amazon EMR 上跑 Apache Spark 任务时遇到一个麻烦:托管环境只给任务发一个 AWS 身份(IAM 角色),但公司内部服务只认自家 PKI(Metatron)签发的短期证书,两者不通用。他们的做法是让每个 Data Project 与一个专用 IAM 角色一一对应,控制面在提交任务时附上一份签名声明;任务启动后再用 AWS 凭据签出一个预签名 URL,以此向身份服务证明"我确实持有这个云身份",换取内部证书。这样 Spark 任务就能以 Data Project 身份访问加密列、查表权限,而不必依赖启动者的个人身份。方案不限于 Spark 或 EMR,任何只有云凭据的托管环境都可套用。

可以使用的工具

文中可用工具

  • MetatronNetflix 内部的私有 PKI,负责签发短期 X.509 证书,让服务之间用双向 TLS 互相认证
  • Amazon EMR运行 Apache Spark 任务的托管计算环境
  • Apache Spark数据处理框架,3.0 起提供插件接口用于在驱动和 executor 启动时注入证明逻辑
  • AWS STS提供 GetCallerIdentity 接口,让工作负载生成可验证自己云身份的预签名 URL
  • HashiCorp Vault文中作为同类 IAM 认证思路的参考案例被提及,未说明在此方案中实际使用
这是基于来源内容整理的摘要。原文链接失效后,本页摘要和讨论仍会保留。

讨论 0

登录后参与讨论,阅读资讯无需注册。

还没有评论,来分享第一个看法。