Datadog 推出了可观测性流水线中的 Exabeam 预配置包(Observability Pipelines Exabeam Packs),帮助企业在把安全日志送进 Exabeam 这个安全分析平台之前,先在自己的基础设施里过滤掉没用的噪音。以前的问题是:防火墙、终端和网络网关产生大量重复的日常日志,全部传进 Exabeam 会让存储和处理费用暴涨,还会把真正有价值的身份、访问和终端行为信号淹没。这些包针对不同来源预设了丢弃、去重和抽样规则,比如过滤 Cisco ASA、Fortinet FortiGate、Palo Alto、CrowdStrike、SentinelOne、Windows 和 Zscaler 的日志,同时保留检测所需的原始字段,Exabeam 的解析器不受影响。目前发布的包括七个来源专属包,以及 Active Directory、Okta、Microsoft 365、Abnormal.ai 等可搭配 Exabeam 目标的通用包,用户可在流水线中直接添加,并用实时抓取验证过滤效果。
文中可用工具
- Exabeam安全信息和事件管理平台,用于检测内部威胁等安全风险
- Datadog Observability Pipelines Packs预配置的日志过滤工具,在数据送入 Exabeam 前去除噪音
- Cisco ASA网络和 VPN 设备,其日志可通过 Pack 过滤
- Fortinet FortiGate网络和边界防火墙,其日志可通过 Pack 过滤
- Palo Alto网络和边界防火墙,其日志可通过 Pack 过滤
- CrowdStrike Falcon Data Replicator (FDR)终端安全数据源,其日志可通过 Pack 过滤
- SentinelOne Cloud Funnel终端检测与响应数据源,其日志可通过 Pack 抽样过滤
- Windows操作系统事件日志来源,可通过 Pack 过滤
- Zscalerweb 安全网关,其流量日志可通过 Pack 过滤和抽样
- Active Directory身份提供方,可通过通用 Pack 过滤日志
- Okta身份提供方,可通过通用 Pack 过滤日志
- Microsoft 365协作和邮件服务,可通过通用 Pack 过滤日志
展开详情收起详情:使用可观测性流水线将关键安全日志处理并路由到 Exabeam⌄
原文发布:2026-10-05 08:00 · 首次收录:2026-10-06
一位安全负责人(CISO)在一次模拟的勒索软件攻击推演中,展示了企业被勒索后最初72小时要面对的决策。问题在于:很多公司以为把服务器从备份恢复好就万事大吉,但实际上恢复系统只是让技术重新运转,业务恢复还要花更长时间——验证数据、重连依赖、处理积压订单、应对法律和客户影响。文章建议提前定好谁能断网、找好取证伙伴、准备声明模板,并借助AI辅助调查更早发现攻击。原文没有给出可直接使用的具体工具名称,具体产品细节也未说明。
展开详情收起详情:勒索攻击后的前72小时:系统恢复不等于业务恢复⌄
原文发布:2026-10-02 08:00 · 首次收录:2026-10-03
Datadog 发布官方介绍,讲如何把 Databricks 上的分析、数据工程和 AI/ML 工作负载接入 Datadog 统一监控。原来用户只能分别看 Databricks 自带指标和下游基础设施,成本和数据质量难以串起来。这次通过三条数据采集路径(集群上的 Agent 抓 Spark 指标与日志、轮询 Databricks API 拿任务运行状态、查系统表获取成本与血缘),把作业健康、花费、数据质量和日志汇总到一个界面。读者可以据此设置作业失败告警、查看 Spark 查询瓶颈、获得集群规格优化建议,并配合云厂商集成定位底层问题;相关功能已可用,但文中未说明具体版本或价格限制。
文中可用工具
- Datadog统一监控平台,汇总 Databricks 指标、日志、成本和数据质量
- Databricks被监控的数据分析与 AI/ML 平台
- Datadog Agent部署在经典计算集群上采集实时 Spark 指标和驱动/执行器日志
- Databricks API通过轮询获取作业和任务运行的近实时执行数据
- Databricks SQL warehouse用于查询系统表,获取成本和血缘数据
- Jobs MonitoringDatadog 的数据可观测性功能,监控批处理和流式作业的健康、性能和成本
- Data Observability监控数据质量、新鲜度、量和血缘的 Datadog 功能集
- Quality Monitoring跟踪 Delta 和 Unity Catalog 表的数据质量与模式变化
- Data Streams Monitoring映射流式管道服务与队列,追踪端到端性能和延迟
- Bits AI在 Datadog 内提供优化作业性能的建议
- Cloud Cost Management把 Databricks 单元成本与云支出并列展示
- OpenLineage Spark integration在经典计算集群上补充 Spark 级别的血缘信息
展开详情收起详情:用 Datadog 监控 Databricks⌄
原文发布:2026-10-02 08:00 · 首次收录:2026-10-03
Databricks 官方发了一篇指南,讲怎么收集 Databricks 和它底层 Spark 的运行数据(比如性能、成本、用量)。之前这些数据分散在各处,用户不容易统一查看和排查问题。这次介绍的方法主要是用系统表来查询日志、成本和性能指标,再配合 Spark UI、作业通知和 REST API,就能做分析和告警。不过要注意,系统表的数据不是实时的,延迟随 schema 不同,所以不能拿它做秒级告警;实时监控得靠作业通知和 API。
文中可用工具
- system tables存放 Databricks 性能、成本和用量等监控数据,可查询分析
- Unity Catalog控制谁可以访问系统表里的数据
- Databricks SQL API让外部工具从系统表拉数据做报表和分析
- Spark UI查看 Spark 作业的执行细节,帮助排查性能问题
- job notifications作业成功、失败、开始或超时时发实时通知,可发到邮件、Slack 等
- Jobs API查询作业运行情况,用于实时监控
- Databricks REST API获取查询历史等数据
- Pipelines API用 SQL 查询管道事件日志
- Spark Streaming Query Listener把流处理指标发送到外部服务
展开详情收起详情:Databricks 的原生监控资源⌄
原文发布:2026-10-02 08:00 · 首次收录:2026-10-03
Databricks 的技术写作者 Aaron Kaplan 和产品经理 Ryan Warrier 写了一篇文章,教大家怎么监控 Databricks 平台上的数据工程、分析和模型服务任务是否健康、跑得快不快、花销有没有失控。原来很多团队用 Databricks 跑批处理、流式管道和 SQL 查询,但任务失败或变慢往往发现太晚,账单也容易悄悄涨上去。他们建议盯住几类关键指标,比如任务运行结果是成功、失败还是超时,任务跑了多长时间,有多少子任务出错,以及管道里有没有数据质量报错;这些指标来自 Databricks 自带的系统表。文章只是系列博客的第一篇,讲了平台架构和指标清单,没有给出具体告警阈值或现成仪表盘,系统表也标注为 Beta 状态,读者需要自己根据这些指标搭监控。
展开详情收起详情:监控 Databricks 的关键指标⌄
原文发布:2026-10-02 08:00 · 首次收录:2026-10-03