Module 01 · What is Data Engineering?什么是数据工程?
Welcome to Introduction to Data Engineering数据工程导论课程介绍
欢迎来到这门数据工程导论课程,它是旨在助您成为一名初级数据工程师系列课程中的第一门。
数据工程的价值与机遇
- 数据爆炸式增长: 数据正以前所未有的速度增长。
- 数据利用: 世界各地的企业、行业、机构和政府正以前所未有的方式利用数据,来指导其未来以及所服务人群的未来的决策。
- 数据价值的关键: 我们能从数据中获取多少价值,仅取决于两件事:
- 数据的准确性 (Accuracy)。
- 当我们需要时,访问所需数据的效率 (Efficiency)。
- 数据工程师的职责: 简而言之,这就是数据工程师的工作。
- 巨大的职业机会:
Dice 2020 年技术工作报告将数据工程列为增长最快的技术职业,同比增长率高达 50%。
谁适合学习本课程?
无论您的背景如何,本课程都欢迎您加入:
- 您可能拥有工程或计算机科学背景。
- 您可能毕业于不相关专业。
- 您可能是一位非毕业生,但热爱编程。
- 您甚至可能是一位对工程领域感到兴奋的数据专业人士。
- 您可能是一位从事技术岗位的在职专业人士。
无论您的身份如何,本课程都将帮助您提升技能并在该领域获得机会。
课程核心内容概览
本课程将向您介绍数据工程的核心概念、生态系统和生命周期。您将学习以下内容:
- 数据基础: 数据、数据存储库 (Data Repositories)。
- 数据处理: 数据管道 (Data Pipelines)、数据集成平台 (Data Integration Platforms)、大数据 (Big Data)。
- 架构与设计:
- 数据平台架构。
- 数据存储的设计考虑因素。
- 数据准备: 如何提取 (Extract)、转换 (Transform) 和清理 (Clean) 数据,使其为分析做好准备。
- 重要原则: 数据安全、隐私和合规性原则。
您还将听取一个由主题专家和从业者组成的小组分享他们的知识,并就成为数据工程师的可能途径提供建议。
专家介绍
以下是分享知识和建议的专家们:
| 专家姓名 | 现任职位/背景 |
|---|---|
| Rav Ahuja | 计算机工程师 (教育背景),数据工程师 (训练背景),目前领导 IBM Skills Network 的内容和战略团队。 |
| Amber Crooks | 拥有约 20 年数据专业经验。职业生涯始于 IBM 的 DB2 数据库管理员。目前是一家在 DevOps 方面有大量工作的组织的首席数据库工程师。 |
| Ramesh Sannareddy | Mongo Factory 公司的 CEO,该公司提供数据工程咨询服务。 |
| Xiao Yang | Coursera 的数据工程师。 |
| Ragu Cherukuru | 美国中西部一家大型零售商的首席数据库管理员。 |
“今天我们将讨论数据工程。我们非常高兴能为您带来这门课程。恭喜您选择踏上这段旅程,祝您好运!”