Agent 与工作流01
Datadog 的几位工程师建议,AI Agent 的工作负载应优先考虑无服务器(按请求分配算力、空闲缩到零)而不是常开服务器。他们分析了超过 3.5 万次生产环境编程 Agent 会话,发现中位数会话只有 20% 的时间在真正调用模型或工具,其余时间都在等待,但沙箱资源一直占着,常开算力等于为闲置时间付费。做法是先给工作负载建一份「执行画像」,记录峰值并发、单次运行的实际计算时长与总耗时之比等,再据此判断用按需算力还是专用节点;长任务可以拆成可恢复的无服务器工作流,等待时释放算力、下一步就绪再继续。读者可以据此避免过早购买常开算力,并用上线后的真实数据再决定是否迁移,文中还提到可用 Datadog 的 Agent 可观测性、APM 和无服务器监控来测量这些指标。
文中可用工具
- Datadog Agent Observability观测 AI Agent 的运行,测量每次运行的总耗时和各步骤时长
- Datadog APM通过链路追踪查看模型、工具和应用层面的耗时
- Datadog Serverless Monitoring测量无服务器组件的执行时长、调用量、并发和 CPU 内存使用
- AWS Lambda文中举例的无服务器计算服务,增强指标可报告 CPU 利用率和 CPU 时间
工具与应用02
AWS 的 EKS Fargate 让用户不用自己管理 worker 节点,改由平台按每个 Pod 单独准备计算环境。它先通过准入控制把匹配 Fargate 配置的 Pod 交给专用调度器,调度器再为这个 Pod 申请新容量,启动所需 Kubernetes 组件,并把用户 VPC 里的网络接口分给这个 Pod,Pod 结束后环境就被回收。这样用户不必创建、打补丁或扩缩节点,但网络接口所在的子网、安全组和 Pod 执行角色仍需在 Fargate 配置里指定;文章没有说明价格、区域可用性或与其他无服务器方案的对比。
文中可用工具
- AWS Fargate为每个 Pod 提供无需用户管理节点的计算环境
- Amazon EKS托管 Kubernetes 控制平面,并支持 EC2 与 Fargate 节点混用
- Amazon ECR供 Fargate 执行角色拉取容器镜像
- Amazon VPC为每个 Pod 提供独立的弹性网络接口和网络隔离
行业动态03
Cloudflare 宣布收购 Node.js 创始人 Ryan Dahl 联合创办的 Deno 公司,交易金额未公开。Deno 是一个 JavaScript/TypeScript 运行时,后来推出了与 Cloudflare Workers 直接竞争的无服务器托管服务 Deno Deploy,还开源了 Celld 项目来复刻 Cloudflare 的编程模型。收购后,Deno 团队将加入 Cloudflare,Deno 独立运行时和托管服务会逐步关停,Celld 将与 Cloudflare 的开源运行时 Workerd 合并,继续以开源方式发布,目标是让开发者用 Cloudflare 的编程模型、在自己管理的基础设施上更轻松地运行分布式应用。
文中可用工具
- Deno一个 JavaScript 和 TypeScript 运行时,用于运行服务器端代码
- Deno DeployDeno 推出的云端托管服务,让开发者无需管理服务器即可部署应用
- Cloudflare WorkersCloudflare 的无服务器计算平台,开发者无需管理底层基础设施即可运行应用
- CelldDeno 开源的项目,复刻了 Cloudflare Workers 和 Durable Objects 的编程模型,支持自托管分布式应用
- WorkerdCloudflare 开源的无服务器运行时,用于在自有基础设施上运行 Workers 应用
- Durable ObjectsCloudflare Workers 的编程模型组件,用于协调分布式应用状态
行业动态04
AWS 把 Lambda 函数的最长运行时间从 15 分钟延长到 90 分钟,前提是这些函数跑在 Lambda Managed Instances 上。以前的限制是为了让函数快速执行完、按需计费,但很多任务比如大数据处理、模型推理需要更长时间,一旦超时就得拆分或改用传统服务器。这次调整让这类长时间任务能直接留在 Lambda 里运行,普通同步请求的 15 分钟上限不变。对开发者来说,以后部署长任务时选择更多了,但如果任务本身不长,这条变化暂时用不上。
文中可用工具
- AWS Lambda亚马逊云的无服务器计算服务,上传代码后按需运行,不用自己管服务器
- Lambda Managed InstancesLambda 中的一种运行方式,允许函数执行更长时间,最长可达90分钟