Module 04 · Data literacy for Data Science (Optional)

Data Marts, Data Lakes, ETL, and Data Pipelines数据存储与流程总结

1. 数据存储库的类型

数据仓库、数据集市和数据湖是组织用于存储和分析数据的三种主要存储库，各有其特定用途。

存储库	结构与格式	目的	关键特点
数据仓库 (Data Warehouse)	结构化，已建模（分析就绪）	多用途存储，用于报告和分析（OLAP）。	存储当前和历史数据，是数据的“单一事实来源”（Single Source of Truth），经过清洗、整合和分类。
数据集市 (Data Mart)	结构化（数据仓库的子集）	为特定业务职能、目的或用户群体提供相关数据。	提供了隔离的安全性和性能，专注于业务特定报告和分析。
数据湖 (Data Lake)	原生格式（结构化、半结构化、非结构化）	存储所有原始数据，不受限于预定义用例。	每个元素都有唯一标识符和元标签。主要用于预测性和高级分析。

ETL (Extract, Transform, and Load) 是将原始数据转换为分析就绪数据的自动化过程，是数据获取价值的核心。

提取 (Extract): 从源位置收集数据。
- 批量处理 (Batch Processing): 在预定时间间隔内，以大块形式移动数据（工具：Stitch, Blendo）。
- 流式处理 (Stream Processing): 实时从源头拉取数据，并在传输过程中进行转换（工具：Apache Samza, Apache Storm, Apache Kafka）。
转换 (Transform): 执行规则和功能，将原始数据转换为可用于分析的状态。
- 操作示例: 统一格式（日期、单位）、删除重复数据、过滤不需要的数据、数据丰富（如拆分姓名）、建立关键关系、应用业务规则和验证。
加载 (Load): 将处理后的数据传输到目标系统或数据存储库。
- 方式: 初始加载（填充所有数据）、增量加载（定期应用更新）、完全刷新（擦除并重新加载）。
- 验证: 包括对缺失值、服务器性能和加载失败的检查，确保有正确的恢复机制。

ETL 历史上主要用于大规模批量工作负载，但随着流式 ETL 工具的出现，它们越来越多地用于实时流式事件数据。

数据管道是一个更广泛的术语，涵盖了将数据从一个系统移动到另一个系统的整个旅程。ETL 只是数据管道的一个子集。