搜索归档

GPU 繁忙会掩盖 Kubernetes 上缓慢的 AI 推理

HPE 的三位产品负责人（Marius Bogoevici、Mahesh Ramachandran、Karthik Subramanian）在一篇赞助文章中讲了怎么发现 AI 服务“机器很忙但用户体验差”的问题。原来大家常看 GPU 利用率，但它只说明显卡在干活，不代表回答够快、够准——首字快可能后面生成很慢，整体快也可能答错。他们建议上线前先用有代表性的提问和流量做一次“基准测试”，记下首字时间、每字生成速度、吞吐量和答案质量，上线后再拿实时表现跟基准对比，并把请求数据和 GPU、网络、数据库、向量库等底层指标对齐，才能分清是需求涨了还是哪里卡住了。读者可以据此建立更靠谱的监控和扩容依据；报道没有给出具体测试数字，相关方法和电子书属于推荐做法，HPE Morpheus 与 OpsRamp 是厂商产品介绍，并非已公开的独立评测结果。

揭示你的 AI 服务中的漏洞

Dynatrace 发布了一个现成的仪表盘，能把运行中的 AI 服务里发现的漏洞集中展示出来。原来团队很难看清自己的 AI 模型、Agent 和推理流程里到底运行着哪些有漏洞的开源依赖，信息分散、缺少上下文。这个仪表盘把运行时漏洞分析和 AI 可观测性结合起来，按严重程度和影响范围汇总，还提供覆盖情况表，告诉你哪些 AI 进程已被扫描、哪些还没被扫。该仪表盘现已可用，前提是先接入 AI 可观测性并开启运行时漏洞分析。

Dynatrace 统一 AI 可观测性数据接入，覆盖编码 Agent、OneAgent 与 OpenInference

Dynatrace 这次把 AI 可观测性的数据接入打通了：不管你用的是编码 Agent、Python 大模型应用，还是基于 OpenInference 的工具，采集到的运行数据都能汇到同一个地方。原来每种工具格式不同，往往要各自搭一条接入通道，额外做不少管线工作；现在这些数据会被统一整理成同一套 gen_ai.* 数据模型。对用 Python 调 AWS Bedrock、OpenAI 或 LangChain 的团队，OneAgent 只要开一个设置就能自动采集，不用改代码；已用 OpenInference 的团队，原有埋点也能直接接入。这样团队能把精力放在做应用上，排查问题和看成本也更方便。另外，Anthropic、Google ADK 等十余种框架的 Python 传感器目前是实验状态，采集完整度可能变化，正式可用时间原文没说明。

使用 Datadog Agent Observability 追踪语音智能体

Datadog 为语音智能体加了可回放的追踪功能。以前排查语音问题只能看文字记录，但文字看不出停顿、抢话、被中断等真实体验，也分不清音频和文字是否一致。现在用 OpenAI Realtime API 构建的应用可以自动把每轮对话的输入输出音频、转写、token 用量和工具调用记进同一条 trace，还能直接播放音频；同时提供一个「用户等首段回复音频多久」的指标，方便找慢的会话。做语音应用的开发者可以边听录音边看调用链，判断问题出在模型、工具还是打断环节，不用再只靠文字猜。Python 端需 ddtrace 4.13.0 及以上；ElevenLabs Realtime 支持和 Amazon Nova 2 Sonic 支持尚在后续或部分覆盖范围，具体可用范围原文未完全说明。

Datadog 在 Forrester Wave™：2026 年第四季度 AIOps 平台报告中被评为领导者

Datadog 宣布自己在 Forrester 的 AIOps 平台评测里被评为“领导者”。以前工程师要自己翻告警、查问题、找根因；现在 Datadog 的 Bits AI 会帮忙定位问题并给出修复建议，还能在设定的护栏内执行修复，工程师保留最终控制权。支撑它的 Scout 1.0 模型刚进入预览，Bits AI 已有超过 1 万名付费客户。对读者来说，这意味着运维排障可能从“人工逐条查”变成“AI 先查、人来把关”，但 Scout 1.0 尚未正式开放。

AWS Elastic Beanstalk 面向受监管工作负载：为下一个十年而建，而不只是首次部署

AWS 发文介绍 Elastic Beanstalk 面向受监管行业工作负载的定位。过去这类托管平台主要比拼“多快能把代码跑起来”，但医疗、金融、政府等受监管组织的应用往往要运行多年，期间要打补丁、应对运行时停止支持、满足不断变化的安全与审计要求。原文认为中型组织缺少大企业那样的平台工程、安全和合规专岗，却要承担 HIPAA、PCI DSS、SOX、FedRAMP 等义务，应用组合一多就容易出现配置“漂移”，审计风险随之上升。文章强调该平台能直接部署已有的 Java JAR、.NET/IIS、PHP、Python 等应用而无需先容器化，并用统一方式管理整个应用组合。目前原文只是介绍性内容，未说明具体发布时间、可用状态或价格。

Bootiful 播客：与 JOOQ 创作者 Lukas Eder 聊“数据极客”

Spring 社区主持人 Josh Long 采访了 JOOQ 的作者 Lukas Eder，聊了 JOOQ 这个工具。JOOQ 的作用是把 SQL 语句变成 Java 里可以类型检查的写法，让复杂数据库操作更安全、更清晰。节目里两人谈到 JOOQ 的起源和演进，也涉及动态 SQL、跨数据库方言、存储过程、视图，以及 DuckDB、ClickHouse、Redshift 等现代数据库的实际使用情况，还提到 AI 辅助调试和 SQL 仍然重要。对 Java 和数据库开发者来说，这期节目能帮他们理解 JOOQ 的定位，以及强类型在减少心智负担上的价值。

AI Hub：基于 Claude Code 的多模态聊天界面

jesusroncal94/ai-hub · Lightweight multimodal AI chat interface powered by Claude Code

AI Hub 是一个由 Claude Code 驱动的轻量级多模态 AI 聊天界面，提供多会话管理、标签筛选、三种可保存的界面布局、图片与文档等文件上传与下载、可选的 Whisper 语音输入、模型切换（Sonnet、Opus、Haiku）、工具启停控制以及用户与管理员设置。它使用 Gradio 构建界面，以 SQLite 持久化数据，并通过子进程调用 Claude Code CLI 获取回复。README 中说明该项目为示例项目，不再维护。

按工作负载需求匹配监控深度：Datadog 推出 Infrastructure Basic

Datadog 推出了一个叫 Infrastructure Basic 的轻量监控档位。原来，对于不太重要的服务器（比如内部后台系统、开发测试机），团队要么用比实际需要更重的监控方案，要么另买一套工具，要么干脆不监控、留下盲区。现在这个档位只采集 CPU、内存、磁盘、网络、开机时长等基础系统指标，还能盯住指定进程是否在跑，并复用现有的告警通知工具。这样，次要服务器也能和重要系统放在同一个 Datadog 环境里统一查看，减少监控空档。目前该功能需要联系 Datadog 销售团队开通，新用户可先试用 14 天。

GitHub 发布 Copilot Fusion：全新的模型选择与编排系统，以一半 API 成本击败 Claude Code

GitHub 在旧金山 Universe 大会上发布了 Copilot Fusion，这是一个帮开发者自动挑选和调度 AI 模型的系统。以前写代码时，开发者要自己判断用哪个模型：复杂任务挑强模型，日常任务忘了换回来，容易又贵又慢。Copilot Fusion 会根据任务自动选模型，还能在工作流中途切换，比如让一个模型答题、另一个模型检查，或者让一个模型评审另一个模型的输出。开发者只需选择投入档位：日常用 Standard、较难用 High、最复杂用 Max。据 GitHub 数据，Fusion Max 在编程智能体评测中得分 60，与 Claude Code 搭配 Opus 5.5 Max 只差两分，但 API 成本约为一半、每任务耗时少约 40%。该功能已正式可用，企业管理员可以限制可选模型并决定是否设为默认。

Cloudflare 以 Workers KV 即时模式向客户开放 Quicksilver，限制在 1 MB 容量内

Cloudflare 把它内部几乎每个请求都会用到的键值存储 Quicksilver，做成了 Workers KV 的一种新模式，目前开放给少数客户做私测（private beta），还没正式上线。键值存储可以理解成一个超大的查号台：给一个名字，马上返回对应的内容。新模式读取速度在 p99 下是 1.62 毫秒，而经典 KV 是 287 毫秒。但限制很硬：最多 1 万个键，每个命名空间只有 1 MB，每秒只能写一次，所以只适合读多写少、数据量小的场景。

演讲：大规模遥测数据治理——自托管可观测性实战指南

Colin Douch 分享了他搭建并扩展自托管可观测性系统的实战经验。过去团队要监控系统，往往得依赖 SaaS 服务，容易被供应商锁定、成本也不好控；他改用 Prometheus、VictoriaMetrics 和 Jaeger 等开源工具，把指标、结构化日志和分布式追踪关联起来，说明这样做在工程上有哪些取舍。对运维和平台团队来说，这提供了一套不依赖外部厂商、可自行掌控的监控方案思路。需要说明的是，材料只提到这是一场演讲，具体可用性和详细做法原文没有展开。

Airbnb 借助 Chronon 将推荐数据陈旧度从两天缩短至数秒

Airbnb 更新了它用来给推荐系统提供数据的 Chronon 平台。以前，推荐系统用的用户行为特征要等将近两天才更新一次，推荐容易过时。现在他们加了 Push Mode（推送模式）和近实时模型转换，能在几秒内更新这类推荐向量，把延迟降到一分钟以内。效果上，离线评测指标 NDCG 提升了 1.67%，线上测试中未取消的预订量大约增加了三分之一百分点。

Spring AI 2.1 消息部件：能完整往返保留的推理内容

Spring AI 是一个用 Java 写 AI 应用的框架。以前它把模型回复只当成一段文字，但像 Claude、Gemini、OpenAI 这些推理模型会额外返回“思考过程”和加密签名，要求下次请求时原样带回；如果顺序错了或丢了，模型就会报错或忘掉之前的推理。Spring AI 2.1 把消息改成按顺序排列的“部件”列表，可存放文本、推理、工具调用、工具结果、图片等，并原样保留这些加密数据，不同厂家的模型之间也能安全切换。该版本目前是 2.1.0-RC1 候选发布版，主要聊天模型都能生成和读取部件，还新增了可持久化这些部件的会话记忆功能。使用 Spring AI 的开发者升级后，推理内容能在多轮对话和流式输出中完整保留，读取方式也统一了。

Wasify AI：本地优先的多模态 AI 工作台

wasif-danesh/wasifyai · Wasify AI: one private, local-first app for chat, notebooks over your own documents, images, video, voice and music, running on models on your own computer. Desktop app on Tauri, FastAPI and LangGraph, Mac first. Early prototype.

Wasify AI 是一个可在自己电脑上运行的本地优先 AI 应用，提供聊天助手、基于自有文档的 Notebooks、图像、视频、语音和音乐生成等功能，所有产出集中在一个可语义搜索的库中。底层包含可复用的平台核心（API、LangGraph 代理运行时、模型网关、媒体 Worker 等），每个产品是薄层应用；目前是早期原型，桌面应用优先面向 Mac。

Dossier：自托管的求职管理应用，依据个人档案生成定制简历与求职信并跟踪申请进度

AienTech/dossier · A self-hosted job search app that writes tailored resumes and cover letters from your profile.

Dossier 是一个自托管的求职管理应用，使用 TypeScript 和 Next.js 构建、以 PostgreSQL 存储数据。它把职业经历集中在一个档案中，生成基础简历；针对具体职位，读取招聘信息、展示与档案的匹配情况，并用档案中的事实起草定制简历和求职信，用户可在聊天中修改并导出 PDF。它提供求职岗位搜索与评分、创业公司职位聚合、可选的每日求职 Agent、Claude 连接器，以及可选的 Gmail 与 Google Calendar 集成，并能用看板和数据表跟踪从草稿到 offer 的全流程。AI 模型可选用 Ollama 或 LM Studio 提供的本地模型，也可选用任意 OpenAI 兼容 API、Anthropic 或 Mistral 的托管模型。

Directive 47：Elite Dangerous 的 Guardian 风格 AI 语音伴侣

dseelinger/d47 · A Guardian-flavoured AI voice companion for Elite Dangerous. Windows desktop and SteamVR overlay.

Directive 47 是面向《Elite Dangerous》的 Guardian 风格语音伴侣，运行于 Windows 桌面与 SteamVR 叠加层。它读取游戏已写入的 journal 日志，通过语音回答关于飞船、模块、工程师、蓝图和路线的问题，并主动播报值得关注的事件，还能按用户指令在游戏内执行操作。项目使用 C# 与 .NET 10 构建，分为核心游戏逻辑、音频、知识、LLM、STT、TTS、VR 等模块，提供自包含单文件可执行程序与免提权安装包。

一个 Pod 一个节点：AWS 无服务器 Kubernetes 背后的架构

AWS 的 EKS Fargate 让用户不用自己管理 worker 节点，改由平台按每个 Pod 单独准备计算环境。它先通过准入控制把匹配 Fargate 配置的 Pod 交给专用调度器，调度器再为这个 Pod 申请新容量，启动所需 Kubernetes 组件，并把用户 VPC 里的网络接口分给这个 Pod，Pod 结束后环境就被回收。这样用户不必创建、打补丁或扩缩节点，但网络接口所在的子网、安全组和 Pod 执行角色仍需在 Fargate 配置里指定；文章没有说明价格、区域可用性或与其他无服务器方案的对比。

“我并非每天都用 Astra”：OpenAI 开发者负责人向 TNS 解释原因

OpenAI 在 2026 年 DevDay 上发布了 20 多项更新，包括 GPT-6.1 Sol、GPT-6 Astra 的 Ultrafast 加速档、能后台持续工作的 dots 智能体，以及 Decisions API 等。开发者负责人 Vaibhav Srivastav 解释：Sol 能达到 Astra 约 95% 的性能，价格却只有五分之一，所以他自己日常主要用 Sol；遇到新项目或不熟悉的问题，才用 Astra 做对抗性审查，避免“自己检查自己”的偏差。Ultrafast 档速度超过每秒 300 个 token，适合欺诈检测等实时场景，价格比标准 Astra 高约 20%。对企业用户，任何可能增加成本的功能默认关闭，需主动开启。

本周 Spring 动态 - 2026年10月27日

这是 Spring 社区每周一次的动态汇总。作者本周在西班牙巴塞罗那参加 Vaadin Create 活动，并整理了本周的 Spring 生态新闻。内容主要包括：Craig Walls 的两篇 Spring AI 文章（用更快的嵌入加速 RAG、用 MCP Apps 渲染丰富界面）、Netflix 借助 JetBrains IDE 智能提升 AI 编程代理效率的案例、播客对 JetBrains 的 Anton Arhipov 的访谈，以及 Quixotic AI 让推理模型能以普通 Maven 依赖形式加入 Spring Boot 应用。此外还列出了大量新版本发布，包括 Spring AI 2.1.0-RC1 和 2.0.2、Spring Boot 4.0.9/4.1.2/4.2.0-RC1、Spring Cloud 2025.1.4 和 2026.0.0-RC1、Spring Security、Spring Session、Spring Modulith、Spring Data、Spring LDAP 和 Spring Web Services 等。对使用 Spring 的开发者来说，可以据此了解本周有哪些新版本和 AI 相关实践可参考。