Coursera 笔记

Module 01 · What Is Big Data?

What is Big Data?什么是大数据？

欢迎观看本视频！通过本视频的学习，您将能够：

解释大数据
识别大数据的特点
解释大数据的五个 V

大数据定义

根据 Bernard Marr，分析、KPI、AI 和大数据领域的专家，大数据 是我们在这个数字时代所生成的 数字痕迹（或数据）。🔍

为了理解大数据，我们需要将其与 小数据 进行比较。

小数据

小数据 存在于有限的数量中，且人类可以轻松解读，几乎不需要数字处理。
例如：体育比分 和 员工排班表，这些都是小数据的例子。
小数据的累积速度较慢，可能会持续更新，也可能不会更新。
存储小数据相对容易，通常以结构化格式存在，如：姓名、地址、性别等。
它可以在企业的内部基础设施或数据中心中维护。

大数据

与小数据不同，大数据 是在巨大的数据量下生成的，且通常没有结构或只有很少的结构。
例如：社交媒体帖子 可能包括带有标签的图片，非结构化数据 可能包括来自数百万病人的医疗记录。
大数据是复杂的，且需要专业程序来解读和使其可供人类使用。
大数据不仅体量庞大，还在持续收集，并且在短时间内指数级增长。
大数据可以是各种形式的数据，包括但不限于 文本、图像、音频和视频。

大数据存储

由于大数据的体量巨大，它通常存储在云端或专门设置的 服务器农场 中。

大数据的生命周期

大数据的生命周期 贯穿了从数据收集到数据可视化的每一个步骤。以下是每个阶段的详细介绍：

数据收集：大数据的收集通常是由于某个业务问题或需求的驱动。
数据存储：数据被使用分布式存储框架（如 Hadoop HDFS）存储。
数据建模：通过 MapReduce 任务和脚本创建数据模型，将数据存储到数据库中。这个模型包括数据实体、它们之间的关系以及规则。
数据处理：使用如 Apache Spark 等工具处理数据，从而提取有意义的信息。
数据可视化：最终，经过处理的数据被以图形化形式（如图表和图形）呈现，用于支持业务决策。

Gartner 的定义

研究公司 Gartner 定义大数据为 高容量、高速度、高多样性 的信息资产，需要 具有成本效益且创新的工具 来进行处理。

大数据的规模

您可能听说过 兆字节（MB）、千兆字节（GB）、太字节（TB），甚至可能是 拍字节（PB），但大数据可以比这些更大！😲

1 Exabyte（EB） 的空间可以存储超过 1100 万部 4K 电影！
现代计算机通常配备 1TB 到 5TB 的硬盘。
1 Zettabyte 包含 1 亿 TB，而 1 Yottabyte 等于 1 万亿 TB！

大数据的四个 V

当我们谈论大数据时，通常会提到 四个 V，它们是：

Velocity（速度）：数据到达的速度。
Volume（体量）：数据存储量的增长。
Variety（多样性）：数据的多样性。
Veracity（真实性）：数据的准确性。

1. 速度（Velocity）

速度表示数据生成的速度，且这一过程从未停止。
数据必须迅速处理，以便在数据到达的速度下做出决策。
速度的主要特征有：接近实时的批处理 和 流处理。
驱动因素：连接性 和硬件的提高。

2. 体量（Volume）

体量是指数据存储量的增长，尤其是与传统数据源相比，大数据的生成量庞大。
体量的属性包括：PB（拍字节）、Exa（艾克字节）、Zetta（泽字节） 等。
体量的主要驱动因素有：数据源增加、传感器分辨率提高、可扩展的硬件基础设施。

3. 多样性（Variety）

多样性 表示数据的多样性，数据既可以是结构化的，也可以是半结构化的，甚至大部分是 非结构化数据。
生成数据的来源包括：人、机器、组织内外的各种流程。
主要特征：结构、复杂性、来源。
驱动因素：移动技术、可扩展的硬件基础设施、容错性、恢复能力、高效的存储与检索。

4. 真实性（Veracity）

真实性 表示数据的质量、来源及其准确性。
数据来自组织内外，因此需要确保数据的一致性、完整性和准确性。
驱动因素：成本、追溯性、强大的数据摄取机制和 ETL（提取、转换、加载）过程。

第五个 V：价值（Value）

大数据的第五个 V 是： 价值。

价值是指通过利用之前四个 V，进行智能业务决策的结果。
组织的最终目标是：通过 更快、更智能的决策、资源的高效利用 和 发现新市场机会 来创造价值。

结语

通过这段视频，您已经了解了：

大数据 是数字时代中生成的数字痕迹。
大数据是一种 高容量、高速度、或高多样性 的信息资产，处理它需要成本效益高且创新的工具。
大数据的核心特点包括四个 V：速度、体量、多样性 和 真实性。
正确收集、存储和处理后，大数据会创造出价值。