Module 02 · The Data Engineering Ecosystem数据工程生态系统
Foundations of Big Data大数据 (Big Data) 概览：五大 V 特性及其应用
在这个数字化世界，每个人都会留下痕迹。从我们的旅行习惯到锻炼和娱乐方式，我们日常互动中互联网连接设备数量的增加记录了关于我们的海量数据。
💡 大数据 (Big Data)
安永 (Ernst and Young) 提供了以下定义：“大数据指的是由人、工具和机器创造的动态、庞大且异构的数据集。它需要创新和可扩展的新技术来收集、托管和分析处理这些海量数据，从而获取与消费者、风险、利润、绩效、生产力管理和增强股东价值相关的实时业务洞察。”
大数据的五大 V (The V's of Big Data)
虽然大数据的定义不尽相同，但某些元素是共通的，即著名的五大 V：
| 特性 | 英文 | 描述 | 驱动因素/属性 |
|---|---|---|---|
| 速度 | Velocity | 数据累积的速度。数据生成极快，且永不停歇。 | 近实时或实时流式处理、本地和云端技术。 |
| 体量 | Volume | 数据的规模，或存储数据量的增长。 | 数据源增加、更高分辨率的传感器和可扩展的基础设施。 |
| 多样性 | Variety | 数据的多样性，反映数据来源（人、机器、流程）和结构（结构化、非结构化）。 | 移动技术、社交媒体、可穿戴设备、地理技术、视频等。 |
| 真实性 | Veracity | 数据的质量和来源，及其对事实的符合度和准确性。 | 一致性、完整性、完整性（数据）、模糊性；驱动因素包括成本和可追溯性的需求。 |
| 价值 | Value | 将数据转化为价值的能力和需求。价值不仅是利润，也可能是医疗、社会效益、客户满意度等。 | 人们投入时间理解大数据的主要原因。 |
五大 V 示例
让我们看看五大 V 在现实中的一些示例：
| V 特性 | 现实示例 | 数据量级 |
|---|---|---|
| 速度 (Velocity) | 每 60 秒，YouTube 上就有数小时的视频片段被上传，持续生成数据。思考一下数据在数小时、数天和数年中积累的速度。 | - |
| 体量 (Volume) | 全世界人口约 70 亿，绝大多数人都在使用数字设备（手机、电脑、可穿戴设备等）。 | 这些设备每天产生、捕获和存储约 2.5 百亿亿字节 (quintillion bytes) 的数据，相当于 1000 万张蓝光 DVD。 |
| 多样性 (Variety) | 数据的不同类型：文本、图片、影片、声音；来自可穿戴设备的健康数据；以及来自物联网 (IoT) 连接设备的许多不同类型的数据。 | - |
| 真实性 (Veracity) | 80% 的数据被认为是非结构化的。我们必须设计方法来产生可靠和准确的洞察，这就要求数据必须经过分类、分析和可视化。 | - |
大数据分析工具
如今的数据科学家从大数据中获取洞察，并应对这些大规模数据集带来的挑战。
- 挑战：由于收集数据的规模庞大，使用传统的数据分析工具是不可行的。
- 解决方案：利用分布式计算能力的替代工具可以克服这个问题。
- 工具示例：Apache Spark、Hadoop 及其生态系统提供了在分布式计算资源中提取、加载、分析和处理数据的方法，从而提供新的洞察和知识。
这为组织提供了更多与客户建立联系和丰富所提供服务的方式。
下次您系上智能手表、解锁智能手机或追踪锻炼时，请记住，您的数据正在开始一段旅程，它可能会经历大数据分析，绕世界一圈，最终回到您的身边。