Coursera 笔记

Module 02 · The Data Engineering Ecosystem数据工程生态系统

Viewpoints: Impact of Big Data on Data Engineering大数据对数据工程的影响

Coursera ↗

在本视频中，我们将听取几位数据专业人士讨论大数据对数据工程的影响，以及大数据如何改变和塑造数据工程领域。

一、大数据的核心特征与影响

大数据可以被描述为具有以下四个特征（也称为四大 V）：

  • 速度 (Velocity)
  • 真实性 (Veracity)
  • 体量 (Volume)
  • 多样性 (Variety)

大数据对数据工程产生了重大影响，使其成为一个更加多样化和丰富的领域。

📌 核心驱动力：

组织正在收集海量数据，因此，如何理解数据并从中获取洞察变得越来越重要和关键。这为数据工程领域开启了巨大的机遇。

新兴的技术和人才需求

  • 我们不仅看到了与处理大数据相关的新技术和产品的出现。
  • 同时，也产生了对能够有效处理大体量和多样化数据的专业人才的巨大需求，无论是构建和管理这些大数据系统，还是分析系统内的数据。

二、数据工程的演进：从 RDBMS 到 NoSQL

前社交媒体/物联网时代

  • 在 IoT 和社交媒体出现之前，将数据摄取到数据库中的方式非常有限。
  • 例如，只有数据录入分析师以非常慢的速度将数据输入到数据库中。

数据性质的改变

  • 在过去十年，特别是随着新奇设备和装置之间通过 API 相互通信，以及向这些设备推送最新更新，数据本身的性质发生了变化。
  • 因此，数据工程领域也随之发展，因为传统的 RDBMS（关系型数据库管理系统）不再是万能的解决方案——许多数据库管理员和数据工程师都发现了这一点。

数据工程师的创新与学习

  • 面对数据的多样性和体量，数据工程领域本身显著演变。
  • 数据工程师最终发明了新的数据源，例如：
    • Google BigTable
    • Cassandra
    • Graph-based Databases（图数据库）
    • Hadoop
    • MapReduce
  • 这些工具被用于分析PB 级的数据。数据工程师不得不编写自己的工具，并学习和使用新技术。因此，大数据的出现带来了巨大的变革。

三、存储心态与数据处理的改变

存储的接受度

  • 大数据从根本上改变了现状，组织现在更加愿意存储大量数据。
  • 用于数据的实际磁盘空间（存储）不再是主要问题。
  • “我们已经到达了一个存储更多数据的地步”，这也是大数据热潮真正带来的改变。

处理方式的改进

  • 大数据带来了处理大量数据的更好方法。
  • 非结构化数据的体量大幅增加，它通常不在传统数据库中处理。
  • 如果非结构化数据被处理，则通常是在 MongoDB 这样的系统中处理。
  • 此外，我们现在正在处理的数据总量也大大增加。

总而言之，大数据已经使数据工程成为一个充满挑战和机遇的领域，推动了技术的不断创新和对专业人才的持续需求。