AI 资源库 · 已整理 1 项

数据导出

查看与数据导出相关的 AI 资讯、工具、Skill、工作流和开源项目。

用导出管道导出 RUM 与产品分析数据

Datadog 推出了导出管道(Export Pipelines)功能,可以自动把它的 RUM(真实用户监控,用来观察应用性能和用户行为)和产品分析事件数据,持续发送到你自己的云存储里。以前这类数据默认只留在 Datadog,普通 RUM 数据保留 30 天,产品分析保留 15 个月,想拿原始事件做分析、训练模型或长期留存就需要自己写导出脚本。现在在 Datadog 界面配置好目标和要导出的数据后,系统会按日期和小时把数据以 Parquet 或 JSON 格式写入 Amazon S3、Azure Blob Storage 或 Google Cloud Storage,还能在界面上看到每条管道的状态(运行中、错误、待处理、已暂停)。这样团队就能把文件直接加载进 Snowflake、BigQuery 或 Databricks 做分析,或用于机器学习训练和合规留存。该功能已在博文中作为正式能力介绍,具体计费方式文中未说明。

文中可用工具

  • Export Pipelines把 RUM 和产品分析事件持续导出到自己的云存储
  • Datadog RUM监控应用可用性、性能和用户会话行为
  • Product Analytics分析用户在产品中的行为数据
  • Amazon S3作为导出数据的目标云存储
  • Azure Blob Storage作为导出数据的目标云存储
  • Google Cloud Storage作为导出数据的目标云存储
  • Snowflake加载导出的 Parquet 文件做数据分析
  • BigQuery加载导出文件并与业务数据关联分析
  • Databricks加载导出的 Parquet 文件做分析或建模
  • RUM Managed Archive把 RUM 数据保留期扩展到 6 个月
☆ 收藏查看来源 ↗