内容归档

好内容,随时找得到。

按栏目浏览往期内容,用关键词、分类和日期找到需要的信息。

内容归档

25 条结果
自定义日期
分类与标签

当前范围:近 30 天 · 25 条 · 首次收录日期 · 默认

清除筛选

使用可观测性流水线将关键安全日志处理并路由到 Exabeam

Datadog 推出了可观测性流水线中的 Exabeam 预配置包(Observability Pipelines Exabeam Packs),帮助企业在把安全日志送进 Exabeam 这个安全分析平台之前,先在自己的基础设施里过滤掉没用的噪音。以前的问题是:防火墙、终端和网络网关产生大量重复的日常日志,全部传进 Exabeam 会让存储和处理费用暴涨,还会把真正有价值的身份、访问和终端行为信号淹没。这些包针对不同来源预设了丢弃、去重和抽样规则,比如过滤 Cisco ASA、Fortinet FortiGate、Palo Alto、CrowdStrike、SentinelOne、Windows 和 Zscaler 的日志,同时保留检测所需的原始字段,Exabeam 的解析器不受影响。目前发布的包括七个来源专属包,以及 Active Directory、Okta、Microsoft 365、Abnormal.ai 等可搭配 Exabeam 目标的通用包,用户可在流水线中直接添加,并用实时抓取验证过滤效果。

文中可用工具

  • Exabeam安全信息和事件管理平台,用于检测内部威胁等安全风险
  • Datadog Observability Pipelines Packs预配置的日志过滤工具,在数据送入 Exabeam 前去除噪音
  • Cisco ASA网络和 VPN 设备,其日志可通过 Pack 过滤
  • Fortinet FortiGate网络和边界防火墙,其日志可通过 Pack 过滤
  • Palo Alto网络和边界防火墙,其日志可通过 Pack 过滤
  • CrowdStrike Falcon Data Replicator (FDR)终端安全数据源,其日志可通过 Pack 过滤
  • SentinelOne Cloud Funnel终端检测与响应数据源,其日志可通过 Pack 抽样过滤
  • Windows操作系统事件日志来源,可通过 Pack 过滤
  • Zscalerweb 安全网关,其流量日志可通过 Pack 过滤和抽样
  • Active Directory身份提供方,可通过通用 Pack 过滤日志
  • Okta身份提供方,可通过通用 Pack 过滤日志
  • Microsoft 365协作和邮件服务,可通过通用 Pack 过滤日志
展开详情收起详情:使用可观测性流水线将关键安全日志处理并路由到 Exabeam
☆ 收藏Datadog Blog查看原文 ↗

勒索攻击后的前72小时:系统恢复不等于业务恢复

一位安全负责人(CISO)在一次模拟的勒索软件攻击推演中,展示了企业被勒索后最初72小时要面对的决策。问题在于:很多公司以为把服务器从备份恢复好就万事大吉,但实际上恢复系统只是让技术重新运转,业务恢复还要花更长时间——验证数据、重连依赖、处理积压订单、应对法律和客户影响。文章建议提前定好谁能断网、找好取证伙伴、准备声明模板,并借助AI辅助调查更早发现攻击。原文没有给出可直接使用的具体工具名称,具体产品细节也未说明。

文中可用工具

提供的材料未提及具体可用工具。

展开详情收起详情:勒索攻击后的前72小时:系统恢复不等于业务恢复
☆ 收藏Datadog Blog查看原文 ↗

用 Datadog 监控 Databricks

Datadog 发布官方介绍,讲如何把 Databricks 上的分析、数据工程和 AI/ML 工作负载接入 Datadog 统一监控。原来用户只能分别看 Databricks 自带指标和下游基础设施,成本和数据质量难以串起来。这次通过三条数据采集路径(集群上的 Agent 抓 Spark 指标与日志、轮询 Databricks API 拿任务运行状态、查系统表获取成本与血缘),把作业健康、花费、数据质量和日志汇总到一个界面。读者可以据此设置作业失败告警、查看 Spark 查询瓶颈、获得集群规格优化建议,并配合云厂商集成定位底层问题;相关功能已可用,但文中未说明具体版本或价格限制。

文中可用工具

  • Datadog统一监控平台,汇总 Databricks 指标、日志、成本和数据质量
  • Databricks被监控的数据分析与 AI/ML 平台
  • Datadog Agent部署在经典计算集群上采集实时 Spark 指标和驱动/执行器日志
  • Databricks API通过轮询获取作业和任务运行的近实时执行数据
  • Databricks SQL warehouse用于查询系统表,获取成本和血缘数据
  • Jobs MonitoringDatadog 的数据可观测性功能,监控批处理和流式作业的健康、性能和成本
  • Data Observability监控数据质量、新鲜度、量和血缘的 Datadog 功能集
  • Quality Monitoring跟踪 Delta 和 Unity Catalog 表的数据质量与模式变化
  • Data Streams Monitoring映射流式管道服务与队列,追踪端到端性能和延迟
  • Bits AI在 Datadog 内提供优化作业性能的建议
  • Cloud Cost Management把 Databricks 单元成本与云支出并列展示
  • OpenLineage Spark integration在经典计算集群上补充 Spark 级别的血缘信息
展开详情收起详情:用 Datadog 监控 Databricks
☆ 收藏Datadog Blog查看原文 ↗

Databricks 的原生监控资源

Databricks 官方发了一篇指南,讲怎么收集 Databricks 和它底层 Spark 的运行数据(比如性能、成本、用量)。之前这些数据分散在各处,用户不容易统一查看和排查问题。这次介绍的方法主要是用系统表来查询日志、成本和性能指标,再配合 Spark UI、作业通知和 REST API,就能做分析和告警。不过要注意,系统表的数据不是实时的,延迟随 schema 不同,所以不能拿它做秒级告警;实时监控得靠作业通知和 API。

文中可用工具

  • system tables存放 Databricks 性能、成本和用量等监控数据,可查询分析
  • Unity Catalog控制谁可以访问系统表里的数据
  • Databricks SQL API让外部工具从系统表拉数据做报表和分析
  • Spark UI查看 Spark 作业的执行细节,帮助排查性能问题
  • job notifications作业成功、失败、开始或超时时发实时通知,可发到邮件、Slack 等
  • Jobs API查询作业运行情况,用于实时监控
  • Databricks REST API获取查询历史等数据
  • Pipelines API用 SQL 查询管道事件日志
  • Spark Streaming Query Listener把流处理指标发送到外部服务
展开详情收起详情:Databricks 的原生监控资源
☆ 收藏Datadog Blog查看原文 ↗

监控 Databricks 的关键指标

Databricks 的技术写作者 Aaron Kaplan 和产品经理 Ryan Warrier 写了一篇文章,教大家怎么监控 Databricks 平台上的数据工程、分析和模型服务任务是否健康、跑得快不快、花销有没有失控。原来很多团队用 Databricks 跑批处理、流式管道和 SQL 查询,但任务失败或变慢往往发现太晚,账单也容易悄悄涨上去。他们建议盯住几类关键指标,比如任务运行结果是成功、失败还是超时,任务跑了多长时间,有多少子任务出错,以及管道里有没有数据质量报错;这些指标来自 Databricks 自带的系统表。文章只是系列博客的第一篇,讲了平台架构和指标清单,没有给出具体告警阈值或现成仪表盘,系统表也标注为 Beta 状态,读者需要自己根据这些指标搭监控。

文中可用工具

提供的材料未提及具体可用工具。

展开详情收起详情:监控 Databricks 的关键指标
☆ 收藏Datadog Blog查看原文 ↗