Module 01 · Extract, Transform, Load (ETL)提取、转换与加载（ETL）
Course Introduction课程介绍
数据工程师的角色与重要性
数据工程师在任何组织的数据战略和规划中都处于最前沿。
数据工程任务，包括数据提取 (Extraction)、转换为所需格式 (Transformation) 以及加载 (Loading) 以供进一步使用，是整个数据科学行业所依赖的基本操作。
这是数据工程职位成为当今世界上最受欢迎的职位之一的主要原因。
课程概述与项目目标
在这个基于项目的课程中，您将扮演专业数据工程师的角色，训练您处理真实世界的数据。
主要实践内容
- 使用 Python 和网络抓取技术直接从网站检索所需数据。
- 根据要求转换数据。
- 将数据保存为本地文件和数据库中的表。
- 使用 Python 对数据集表运行基本查询。
目标受众
本课程适用于：
- 具有基本编程知识的人士。
- 对 Python 有初步了解的人士。
- 有兴趣将 Python 用于数据工程应用的人士。
模块内容详述
| 模块 | 主题 | 学习内容与技能 |
|---|---|---|
| 模块 1 | ETL 操作基础与数据获取 | 介绍提取 (E)、转换 (T) 和加载 (L) 操作的基础知识。使用网络抓取技术和 API 从网页中提取所需信息。使用 Python 访问数据库，并将处理后的信息保存为数据库中的表。 |
| 模块 2 | 开发功能性 ETL 管道 | 应用模块 1 的知识，开发一个功能性 ETL 管道，用于从公共领域的网站获取和处理数据。通过一个练习项目和一个评分项目，展示为来自不同网络链接的数据创建 ETL 管道的熟练程度。您的项目作业将由您的同行进行评分。 |
| 可选模块 3 | Python 编码最佳实践与应用打包 | 学习 Python 的理想编码实践和运行静态代码分析。使用 Python 创建模块、运行单元测试和打包应用程序。 |
完成课程后您将能够
- 通过读取数据文件、网络抓取和使用 API，从多个来源提取数据。
- 根据需要转换数据。
- 将处理后的数据加载为所需格式或数据库。
- 创建一个完整的 ETL 管道，用于访问和处理来自公共网站的数据。
- 创建 Python 模块、运行单元测试和打包应用程序。
充分利用本课程的建议
这里有很多内容要介绍。为了从本课程中获得最大收益，请务必：
- 观看每个视频。
- 通过每个测验检查您的学习情况。
- 完成所有动手实验 (hands-on labs)。
如果您在任何课程材料方面遇到任何问题，请随时在讨论论坛中与我们联系。
感谢您参与我们的课程，欢迎您！