katagun/ai-systems-atlas · Curated atlas of operational AI systems, agents, frameworks, memory systems, licenses, and evidence
AI Systems Atlas 是一个经过编辑审核的目录,收录可运营的 AI 系统、与供应商无关的模型发布及其开发实验室、连接系统的规范、托管推理服务、自托管推理运行时、宿主 Agent 可安装的 Agent 包,以及有据可查的 AI 机器人。目录以静态网页形式发布,所有审核记录同时以无密钥、无限速的 JSON 形式提供;仓库包含编辑目录、校验与刷新自动化脚本,以及无依赖的静态 Web 界面,并区分来源元数据与 Atlas 审核记录。
展开详情收起详情:AI Systems Atlas:可运营 AI 系统与模型的策展目录⌄
★ 1 · 资料合集
GitHub
原文发布:未知收录:2026-10-03
销售副总裁让一个连着 Snowflake 的 AI 智能体查上季度收入,结果数字不对。检查发现管道任务全部按时跑完、日志也没报错,但底层表已经连续好几天少了约 22% 的行,还有三个关键字段几乎一半是空的,全程没有任何告警,等发现时报表和决策已经受影响。这篇文章讲的是:管道跑成功不代表表里的数据是对的,还要直接对表本身做检查,比如数据是否按时刷新、行数是否异常变化、字段空值或分布是否漂移、有没有重复记录,并用管道信息帮忙定位是源头、调度还是转换逻辑出的问题。这样能更早发现“管道正常但数据悄悄变坏”的情况,避免拿错数据做决策。
展开详情收起详情:监控仓库数据质量不能只看管道健康⌄
Datadog Blog
原文发布:2026-10-01 08:00收录:2026-10-02
Datadog 的工程师把 Apache DataFusion(一个用来执行查询的引擎)从只能在一台机器上跑,改造成了可以跨多台机器跑同一个查询,这个项目叫 Distributed DataFusion。原来他们有很多不同系统各管一摊,数据没法方便地合在一起查,而 DataFusion 虽然好用但只在单机上执行,遇到超大数据量就慢。新框架把查询拆到多台机器上并行处理,同时让数据以流式方式传输,避免中间结果落地,小查询仍留在单机跑以免浪费。代码已开源,用 Rust 写,可在 GitHub 和 crates.io 获取,Apache 2.0 许可;在 12 节点集群的公开测试里,部分重型查询最多快了 10 倍,成本不变。
文中可用工具
- Apache DataFusion一个可组合的查询引擎,用来执行分析查询
- Distributed DataFusion把 DataFusion 扩展成能跨多台机器执行单条查询的开源框架
- Apache Arrow内存中的数据格式,不同系统之间交换数据用
- Substrait执行计划的格式,用来描述查询怎么跑
- ClickHouse被评估过的查询引擎,因扩展性不够被排除
- Apache Spark被评估过的分布式引擎,因需要中间数据落地不适合低延迟交互
- Apache DataFusion Ballista被评估过的分布式引擎,同样因中间数据落地被排除
- Trino被评估过的分布式引擎,因与 Arrow、Substrait 集成不好且成本高被排除
- Amazon S3存放 Parquet 数据,供集群读取
展开详情收起详情:我们如何扩展 Apache DataFusion,让单条查询可以跨多台机器执行⌄
Datadog Blog
原文发布:2026-10-01 08:00收录:2026-10-02
AI 编程智能体在写接口时,常常只检查“用户登录了吗”,却不检查“这条数据是不是他的”。比如让它写一个按编号查发票的接口,它会验证登录、查不到就返回 404,看起来都对,但任何人只要改一下 URL 里的编号,就能看到别家公司的发票。问题在于“发票属于某个组织、用户只能看自己组织的发票”这条规则存在于产品设计里,代码和提示词里都没写,所以智能体不知道要加。这类问题叫越权访问(BOLA/IDOR),在 OWASP Top 10 中排第一,传统扫描工具因为没有固定特征可匹配,很难自动发现,目前仍主要靠懂产品的人人工审查,或在查询条件里补上组织范围来修复。
展开详情收起详情:为什么 AI 编程智能体总写出有缺陷的访问控制⌄
Snyk Blog
原文发布:2026-10-01 12:00收录:2026-10-02
当回答一个问题需要理清多条记录之间的关联时,普通向量检索可能不够用。比如问“哪个团队负责那个用了有漏洞的库的服务、哪些客户受影响、合同要求怎么通知”,向量搜索只能找出语义相近的文档,却无法证明哪些记录真正相关,可能把错误的服务版本或客户关联到一起。Graph RAG 的做法是把这些关系显式建成图:每条记录是一个节点,服务“使用”库、服务“支持”环境、合同“受制于”政策等关系成为带类型和方向的边,每条边都能追溯到来源并带生效日期。这样回答时先定位实体,再沿允许的关系遍历,最后取原文解释细节。两者配合使用,图的职责是回答“谁和谁相连”,原文负责回答“政策到底写了什么”。
文中可用工具
- Graph RAG一种把记录间关系显式建模、再沿关系遍历检索的方法,用于回答依赖关系类问题
- GraphRAG微软的方案,用大模型从非结构化文本中抽取知识图谱并构建社区层级,支持语料级和实体级查询
- vector search向量检索,按语义相似度找出与问题相关的文档或记录
展开详情收起详情:当关系本身构成证据时,请使用 Graph RAG⌄
The New Stack
原文发布:2026-10-01 21:30收录:2026-10-02
一位安全从业者发现,公司员工早就在用各种AI工具干活了,但IT和安全团队根本不知道他们用了哪些工具、接触了哪些数据。问题在于,很多企业只会发文件说“AI该怎么用”,却没有提供一条方便又安全的实际使用路径,结果员工干脆自己找工具,风险反而更大。作者建议安全团队换个思路:先摸清AI在实际中怎么用、能碰哪些数据、能执行什么操作,然后为开发者提供经过审核的组件和隔离环境,把安全做成好用的默认选项,而不是事后审批的关卡。这样企业既能跟上AI落地速度,又不至于让每个新工具变成新的风险。
展开详情收起详情:将AI从安全盲点转变为清晰路线图⌄
The New Stack
原文发布:2026-10-02 00:40收录:2026-10-02
谷歌为 AI 生成的蛋白质加上了“隐形签名”,这就是 SynthID Bio 的概念验证。以前,AI 设计出的新蛋白质和天然蛋白质很难区分,DNA 合成公司在筛查时无法判断一个陌生序列是不是人工制造的威胁,数据库也可能被错误标注的合成结构污染。SynthID Bio 把签名直接写进蛋白质的基因序列和三维结构里,实验证明这样改动不会影响蛋白质的正常功能,还能被检测出来。不过目前这只是概念验证,要真正投入使用还需要解决防篡改等问题。
文中可用工具
- SynthID Bio给 AI 生成的蛋白质加隐形水印,同时保留其生物功能
- AlphaFold预测蛋白质三维结构
- AlphaFold 3预测蛋白质等生物分子的三维结构,SynthID Bio 会在其扩散网络中微调以嵌入水印
- AlphaProteo设计能选择性结合其他蛋白质的蛋白质结合体
- ProteinMPNN生成蛋白质序列,文中使用了带 SynthID Bio 能力的版本
展开详情收起详情:隆重推出 SynthID Bio⌄
Google DeepMind Blog
原文发布:2026-09-30 23:03收录:2026-10-01
PatrickWiloak/cloud-data-ai-security-zero-to-hero · Cloud + Data + AI + Security from zero to hero. 149 certs across 27 providers, 53 plain-English concepts, 15 hands-on builds, cross-cloud + AI service comparisons.
这是一个以 Markdown 文档为主的开源学习与参考资料库,围绕云、数据、AI 与安全四大主题组织内容。仓库包含 149 个认证学习指南(覆盖 AWS、Azure、GCP、Kubernetes、NVIDIA、Anthropic Claude 等 27 家厂商)、53 个概念页(LLM、RAG、MCP、Agent、VPC、K8s、IAM 等)、15 个动手项目(含 RAG、MCP Agent、vLLM、评测框架、LoRA 微调)、跨云服务对比、CLI 速查表、架构模式、职业认证路线图与面试准备指南,并发布为支持全文检索的网站。
展开详情收起详情:cloud-data-ai-security-zero-to-hero:云、数据、AI 与安全从零到进阶的学习与认证资料库⌄
★ 40 · 资料合集
GitHub
原文发布:未知收录:2026-09-30
Vespa.ai 将举办一场线上研讨会,讲的是搜索系统效果不好时该怎么办。很多人的第一反应是换更强的"重排器"——它负责把候选结果里最好的排到最前面——但大规模重排既费钱又慢,而且如果前面检索阶段压根没把正确结果捞进来,重排器也无能为力。这次分享提出把检索做成"多层漏斗":先用便宜的词法、向量或混合检索从大堆文档里捞出一大批候选,再逐步收窄,最后只让少量最有希望的候选进入昂贵的机器学习重排。这样前面覆盖广、后面花钱少。活动时间为 10 月 13 日,需注册参加,未公布其他细节。
文中可用工具
- Vespa.ai用于构建检索与重排系统的平台,本次研讨会的主办方
展开详情收起详情:以为需要更好的重排器?先检查你的检索环节⌄
The New Stack
原文发布:2026-09-29 01:01收录:2026-09-29
OpenAI 在周五发布的报告中说,它发现了一种新型的提示注入攻击:和传统计算机蠕虫类似,这种攻击能把自己复制到其他邮件、文件或代码注释里,让 AI 代理继续传播。提示注入是指藏在内容里的指令,会误导 AI 去执行不该做的事。目前这些情况只出现在训练和评测时模拟的工具调用中,没有影响到真实系统,属于研究结果而非安全事件。OpenAI 通过 GPT-Red 自对弈训练框架找到了这些样本,并计划把“自我复制”加入防御训练,希望以后模型更能扛住这类攻击。
文中可用工具
- GPT-RedOpenAI 用来自我训练防御提示注入的框架,让攻击模型和防御模型互相对抗。
- GPT-5.4-mini用于发现和作为易受攻击模型的内部研究检查点。
- GPT-5.5在多跳提示注入评测中作为易受攻击模型,并在 Codex 环境中作为发现攻击的模型。
- Codex运行 GPT-5.5 来发现攻击的训练/评测环境。
展开详情收起详情:OpenAI 披露“新型提示注入”,可像计算机蠕虫一样自我传播⌄
The New Stack
原文发布:2026-09-29 05:26收录:2026-09-29
Meta 为自家的数据库 ZippyDB 加了一个叫 ZGateway 的中间层(代理)。以前每个应用都要和数据库单独保持连接,连接太多、管理麻烦;现在应用只连 ZGateway,由它统一负责连接管理、流量分发、缓存、负载均衡和访问控制。它每秒能处理超过 10 亿次操作,承载了 ZippyDB 约 40% 的流量,Meta 的模型估算持久连接数因此减少了 19 倍。对读者来说,这是大型互联网公司如何用代理层给数据库连接“减负”的一个实际案例,目前仍是 Meta 内部方案,未说明对外开源或商用。
文中可用工具
- ZGatewayMeta 推出的无状态代理,集中管理数据库连接、流量路由、缓存、负载均衡和访问控制
- ZippyDBMeta 的分布式数据库,ZGateway 代理的是它
展开详情收起详情:Meta 的 ZGateway 将 ZippyDB 连接数削减 19 倍,同时每秒处理超 10 亿次操作⌄
InfoQ Architecture & Design
原文发布:2026-09-28 21:55收录:2026-09-29
Anthropic 新成立了一个生命科学研究团队和实验室,想看看 Claude 能不能帮忙研究生物学。他们只给 Claude 一个大致方向,让它去庞大的 DNA 序列库里找有意思的酶。大约 950 个 Claude 代理花了 21 小时、用了 2.1 亿个 token 搜索后,其中一个找到了一种此前没被描述过的酶系统,它旁边带有一串重复的 DNA 序列,这种组合此前只在少数能剪切、复制、粘贴 DNA 的可编程系统里出现过,让人联想到 CRISPR。目前这个叫 ART 的系统具体功能还不清楚,研究仍在进行,相关预印本已经发布,实验室工作全部由人类科学家完成,只涉及低风险生物材料。对读者来说,这说明 AI 代理开始被用来辅助基础生物发现,但离实际应用还很远。
文中可用工具
- Claude被用来搜索 DNA 序列库、提出候选酶系统并生成分析报告
- Claude Science科学家用于开展研究的工作工具
- Claude Code科学家用于开展研究的工作工具
展开详情收起详情:Claude 发现新型酶系统⌄
Anthropic News
原文发布:2026-09-24 00:06收录:2026-09-29
性能工程老将 Adrian Cockcroft 聊了聊 AI 给这个领域带来的变化。以前想搞懂服务器性能数据,得去翻内核源码猜数字含义,他为此写过两本性能调优的书。如今他用 ChatGPT 等工具“氛围编程”,几分钟就能搭出定制分析工具,比如一个开源工具用来分析响应时间分布里的多个峰值,而不是只看 P99 这种单一指标,因为真实系统往往有多个峰值,P99 会误导人。对做性能的读者来说,他的建议是先用低倍“显微镜”找异常,再逐级放大到单条慢请求。
文中可用工具
- ChatGPT用来快速生成数据分析工具的代码,让不熟悉某些编程语言的人也能搭出定制工具
展开详情收起详情:从内核分析到 AI:Adrian Cockcroft 谈性能工程⌄
The New Stack
原文发布:2026-09-27 23:00收录:2026-09-28
Mallika Rao 在一次演讲中提出,自适应推荐系统真正的难点不在模型结构本身,而在系统怎么搭。现实中系统要边用边学,就得处理实时反馈、检索内容的新鲜度、多阶段流程的协调,以及从用户请求到返回结果的整体延迟预算。同时还得兼顾成本和可观测性这些实际运营限制。目前这只是演讲内容分享,文中没有说明有任何现成工具或产品可以直接使用。
展开详情收起详情:演讲:现实世界中的自适应推荐系统:推理、评估与系统设计⌄
InfoQ Architecture & Design
原文发布:2026-09-26 19:00收录:2026-09-27
Netflix 工程团队在 Amazon EMR 上跑 Apache Spark 任务时遇到一个麻烦:托管环境只给任务发一个 AWS 身份(IAM 角色),但公司内部服务只认自家 PKI(Metatron)签发的短期证书,两者不通用。他们的做法是让每个 Data Project 与一个专用 IAM 角色一一对应,控制面在提交任务时附上一份签名声明;任务启动后再用 AWS 凭据签出一个预签名 URL,以此向身份服务证明"我确实持有这个云身份",换取内部证书。这样 Spark 任务就能以 Data Project 身份访问加密列、查表权限,而不必依赖启动者的个人身份。方案不限于 Spark 或 EMR,任何只有云凭据的托管环境都可套用。
文中可用工具
- MetatronNetflix 内部的私有 PKI,负责签发短期 X.509 证书,让服务之间用双向 TLS 互相认证
- Amazon EMR运行 Apache Spark 任务的托管计算环境
- Apache Spark数据处理框架,3.0 起提供插件接口用于在驱动和 executor 启动时注入证明逻辑
- AWS STS提供 GetCallerIdentity 接口,让工作负载生成可验证自己云身份的预签名 URL
- HashiCorp Vault文中作为同类 IAM 认证思路的参考案例被提及,未说明在此方案中实际使用
展开详情收起详情:用云身份换取自有身份:托管计算环境中的工作负载证明⌄
Netflix Tech Blog
原文发布:2026-09-26 00:01收录:2026-09-26
有一类做大额或敏感签名的系统,会把「门限签名」放进芯片级安全区(TEE)里跑。门限签名是多方可计算(MPC)的一种:多方一起签名,任何单独一方都不掌握完整密钥;TEE 则靠硬件厂商的证明机制来建立信任。问题在于,如果协议没有把外部主机当作不可信环境,攻击者可能把文件系统回滚,让签名方重复使用同一个随机数份额,从而泄露私钥份额。这篇博客说明 TEE 证明能解决什么、不能解决什么,审计中最常见的坑,以及把强证明和参与方身份绑定的做法。作者结论是:把 TEE 当作纵深防御而非协议的替代品,这个组合才值得用。文中未给出具体的部署或开源工具信息。
展开详情收起详情:别让 TEE 破坏你的 MPC⌄
Trail of Bits Blog
原文发布:2026-09-25 19:00收录:2026-09-26
Christine Lemmer-Webber 和 David Thompson 在一场演讲中介绍了 Spritely 项目。如今很多网络应用都靠中心服务器运行,一旦服务器出问题或掌握在少数公司手里,用户就很难掌控自己的数据和通信。Spritely 的做法是把应用做成点对点:用 Goblins 实现基于能力的访问控制(可以理解为只发钥匙、不设万能门禁),用 OCapN 让不同程序像演员传纸条一样互相通信,还用 petname 系统让用户自己给联系人起名,避免依赖全局身份。它借助 Scheme 语言、WebAssembly 工具 Hoot 以及本地优先的 CRDT(多人同时改数据也能自动合并),目标是让没有中心服务器的安全点对点应用成为可能。目前这是演讲分享,尚未说明具体可用版本或发布时间。
文中可用工具
- Goblins实现基于能力的访问控制,让程序只获得完成任务所需的权限
- OCapN让不同程序之间按 actor 模型进行通信
- SchemeSpritely 使用的编程语言
- Hoot把 Scheme 编译到 WebAssembly 的工具
- WebAssembly让代码在浏览器等环境中高效运行
- CRDTs本地优先的数据结构,支持多人同时编辑并自动合并
展开详情收起详情:演讲:Spritely——面向互联网未来的基础设施⌄
InfoQ Architecture & Design
原文发布:2026-09-25 19:00收录:2026-09-26
文章作者做了一个实验:给 GitLab 公开文档做了一个聊天问答系统,拿一句包含五个不同问题的话去测试。主流做法是把复杂问题拆成五个小问题分别检索,再合并、重排、塞进有限的上下文窗口。结果五个正确答案虽然都被检索到了,但最终只有一条被保留,另外四条被排在前面的答案挤掉了;不拆分反而能保留三条。作者把这种现象叫“上下文饥饿”:某个子问题虽然找到了答案,却在最后分配上下文空间时被挤掉,而且常规召回率指标完全看不出来。文章指出,查询分解只解决了检索阶段的问题,分配阶段仍由“谁分高谁上”的不公平策略决定,需要引入公平性约束。目前这是作者在 GitLab 公开文档上做的实验,配套评测方法尚未说明是否开放使用。
文中可用工具
- LlamaIndex SubQuestionQueryEngine把复杂问题拆成多个子问题并分别检索、再汇总答案
- LangChain MultiQueryRetriever为同一个问题生成多种查询改写,合并去重后返回检索结果
- RAG-Fusion用倒数排名融合把多次查询的检索结果合并成一个列表
展开详情收起详情:查询分解无法解决上下文饥饿——只是把它挪了个位置⌄
The New Stack
原文发布:2026-09-24 21:00收录:2026-09-25
Modal 的两名资深工程师 Colin Weld 和 Connor Adams 最近写了一篇文章,讲他们怎样把公司用来跑代码的“沙箱”系统整个推倒重做。原来的问题是:用 Kubernetes 这种常见容器管理方式,没法同时支撑几百万个沙箱,也没法每秒新建几万个。他们从底层重新设计后,做到了这两点。对读者的用处是:如果你关心云端跑代码、AI 智能体执行环境这类场景,这提供了一条不用 Kubernetes 也能大规模扩容的思路。目前文章只是经验分享,没有提到具体产品是否开放或开源。
展开详情收起详情:Modal 超越 Kubernetes:如何在数秒内扩展 100 万个并发沙箱⌄
InfoQ Architecture & Design
原文发布:2026-09-23 22:00收录:2026-09-24
Google 为它的 Private AI Compute 平台加入了一种新的“服务端记忆”能力,让 AI 助手能把你的个人信息长期记在云端,跨设备使用。问题是,过去云端处理 AI 任务时不会保存上下文,任务一结束记忆就被清空,难以实现连续的个人助手体验。这次的做法是把数据加密后存在云端专用空间,而解锁密钥只留在你的设备上,AI 需要时通过加密通道临时解密处理,然后马上重新加密,理论上连 Google 也看不到。这样一来,你在手机、笔记本、智能眼镜之间使用 AI 时,能延续此前的对话和信息,同时仍保持接近“只在设备上处理”的隐私水平。目前这是官方公布的技术更新,具体上线时间、可用设备和功能范围原文并未说明。
文中可用工具
- Private AI ComputeGoogle 的私密 AI 计算平台,在硬件隔离的云端环境中处理 AI 任务并保护用户数据
展开详情收起详情:通过安全服务端记忆推进私密 AI 计算⌄
Google DeepMind Blog
原文发布:2026-09-24 00:00收录:2026-09-24