Coursera 笔记

Module 01 · What is Data Engineering?什么是数据工程?

Welcome to Introduction to Data Engineering数据工程导论课程介绍

Coursera ↗

欢迎来到这门数据工程导论课程,它是旨在助您成为一名初级数据工程师系列课程中的第一门。


数据工程的价值与机遇

  • 数据爆炸式增长: 数据正以前所未有的速度增长。
  • 数据利用: 世界各地的企业、行业、机构和政府正以前所未有的方式利用数据,来指导其未来以及所服务人群的未来的决策。
  • 数据价值的关键: 我们能从数据中获取多少价值,仅取决于两件事:
    1. 数据的准确性 (Accuracy)。
    2. 当我们需要时,访问所需数据的效率 (Efficiency)。
  • 数据工程师的职责: 简而言之,这就是数据工程师的工作。
  • 巨大的职业机会:

    Dice 2020 年技术工作报告将数据工程列为增长最快的技术职业,同比增长率高达 50%。


谁适合学习本课程?

无论您的背景如何,本课程都欢迎您加入:

  • 您可能拥有工程或计算机科学背景。
  • 您可能毕业于不相关专业。
  • 您可能是一位非毕业生,但热爱编程。
  • 您甚至可能是一位对工程领域感到兴奋的数据专业人士。
  • 您可能是一位从事技术岗位的在职专业人士。

无论您的身份如何,本课程都将帮助您提升技能并在该领域获得机会。


课程核心内容概览

本课程将向您介绍数据工程的核心概念、生态系统和生命周期。您将学习以下内容:

  • 数据基础: 数据、数据存储库 (Data Repositories)。
  • 数据处理: 数据管道 (Data Pipelines)、数据集成平台 (Data Integration Platforms)、大数据 (Big Data)。
  • 架构与设计:
    • 数据平台架构。
    • 数据存储的设计考虑因素。
  • 数据准备: 如何提取 (Extract)、转换 (Transform) 和清理 (Clean) 数据,使其为分析做好准备。
  • 重要原则: 数据安全、隐私和合规性原则。

您还将听取一个由主题专家和从业者组成的小组分享他们的知识,并就成为数据工程师的可能途径提供建议。


专家介绍

以下是分享知识和建议的专家们:

专家姓名 现任职位/背景
Rav Ahuja 计算机工程师 (教育背景),数据工程师 (训练背景),目前领导 IBM Skills Network 的内容和战略团队。
Amber Crooks 拥有约 20 年数据专业经验。职业生涯始于 IBM 的 DB2 数据库管理员。目前是一家在 DevOps 方面有大量工作的组织的首席数据库工程师。
Ramesh Sannareddy Mongo Factory 公司的 CEO,该公司提供数据工程咨询服务。
Xiao Yang Coursera 的数据工程师。
Ragu Cherukuru 美国中西部一家大型零售商的首席数据库管理员。

“今天我们将讨论数据工程。我们非常高兴能为您带来这门课程。恭喜您选择踏上这段旅程,祝您好运!”