Module 01 · What is Data Engineering?什么是数据工程？
Viewpoints: Defining Data Engineering数据专业人士论数据工程：定义与区别
在本视频中，我们将听取几位数据专业人士讨论他们如何定义数据工程，以及它与数据分析和数据科学的区别。
数据工程的定义与核心任务
- 核心工作： 数据工程是设计、构建和维护数据基础设施和平台的任务集合。
- 基础设施包括： 数据库、大数据存储库，以及用于在这些系统之间转换和移动数据的数据管道。
- 数据工程师： 是执行这些开发和优化数据系统任务的人，目的是使数据可用于分析。
数据工程师：数据的“管道工”
- 可类比为： 数据工程师有点像数据的**“管道工”**（plumbers of data）。
- 核心职责： 我们确保数据具有：
- 高可用性 (Highly Available)。
- 一致性 (Consistency)。
- 安全性 (Security)。
- 可恢复性 (Recoverability)。
- 角色定位：
“我们不会花太多时间把玩数据、分析数据或实际使用数据，而是确保数据已准备就绪，供其他人执行这些工作。”
- 合作关系： 数据科学和数据分析通常会利用我们存储的数据。我们与其他数据专业人士密切合作，确保数据符合他们的需求，并以实际帮助他们的方式提供。
系统优化与数据流
- 数据工程的全部意义： 在于设计、维护和优化系统，以帮助企业和公司充分利用其数据。
- 具体工作： 涉及到选择正确的：
- 数据库 (Databases)。
- 存储系统 (Storage Systems)。
- 云架构或云平台 (Cloud Architectures Platforms)。
- 目标愿景： 通过将所有这些要素整合在一起，确保组织内部的数据流是无缝的，数据能够以最小的努力和最快的速度交付给任何需要它的人，无论何时。
- 理想状态：
“在一个拥有最佳数据工程流程的理想组织中，任何被授权的人都可以在一瞬间访问任何数据。”
↔数据工程、分析与科学的区别
| 角色 | 核心工作内容 | 工作流程中的定位 |
|---|---|---|
| 数据工程师 | 提取、收集原始数据，转换并将其存储为表格形式。负责设计、构建和维护数据基础设施，使数据可用。 | 前驱/上游工作。在他们工作完成后，数据可供分析师和科学家使用。 |
| 数据分析师 | 在数据系统中分析数据，以进行报告和获取洞察。 | 下游工作。利用工程师提供的数据进行分析。 |
| 数据科学家 | 对数据进行更深入的分析，开发预测模型，以解决更复杂的数据问题。 | 下游工作。利用工程师提供的数据进行深入分析和预测。 |
- 角色关系： 可以将数据工程视为数据分析和数据科学的先驱（precursor）。
- 赋能者： 数据工程师充当赋能者（enablers），使数据分析师和数据科学家的项目得以实现。
- 支持示例： 他们可以通过以下方式协助分析师和科学家：
- 协助选择正确的数据库和工具。
- 构建所需的数据管道，以满足他们的数据需求。
- 帮助构建他们的报告并执行统计分析。