Module 02 · Data Science Topics
Foundations of Big Data大数据：定义与“5V”特征
在当今的数字世界中，每个人都留下了痕迹。从旅行习惯到锻炼和娱乐，我们日常互动的联网设备记录了海量数据，这就是所谓的大数据。
1. 大数据的定义与本质
安永（Ernst and Young）对大数据的定义是：
“大数据指的是由人、工具和机器所创建的动态、庞大且异构的数据集。它需要创新且可扩展的新技术来收集、托管和分析处理这些海量数据，从而获取与消费者、风险、利润、绩效、生产力管理以及提升股东价值相关的实时商业洞察。”
虽然没有单一的官方定义，但不同定义中都包含一些共同的要素，即大数据的 5V 特征。
2. 大数据的 5V 特征
| 特征 (V) | 中文 | 含义描述 | 驱动因素/属性 | 实例与注解 |
|---|---|---|---|---|
| Velocity | 速度 | 数据积累的速度。数据生成速度极快且永不停止。 | 近乎实时或实时流式处理、本地和基于云的技术。 | YouTube 每 60 秒上传数小时的视频，持续生成数据。 |
| Volume | 数据量 | 数据的规模或存储量的增加。 | 数据源的增加、更高分辨率的传感器和可扩展的基础设施。 | 全球数字设备用户每天生成约 2.5 Quintillion 字节的数据（约等于 1000 万张蓝光 DVD）。 |
| Variety | 多样性 | 数据的多样化，数据来源和类型的多样性。 | 移动技术、社交媒体、可穿戴技术、物联网（IoT） 等。 | 包括结构化数据（如关系数据库中的行和列）和非结构化数据（如推文、博客、图片、视频）。 |
| Veracity | 真实性 | 数据的质量和来源，及其对事实的符合度和准确性。 | 一致性、完整性、数据诚信、歧义性；成本和可追溯性的需求。 | 约 80% 的数据被认为是非结构化的，需要设计方法来保证洞察的可靠性和准确性。 |
| Value | 价值 | 将数据转化为价值的能力和需求。 | 不仅指利润，还包括医疗、社会效益、客户/员工/个人满意度。 | 理解大数据的首要原因是为了从中获取价值。 |
3. 大数据的挑战与应对工具
挑战：超越传统工具
当今收集的数据规模巨大，以至于使用传统的数据分析工具已不可行。
应对方案：分布式计算
数据科学家通过使用替代工具来应对这些挑战，这些工具利用了分布式计算能力：
- 核心工具： Apache Spark、Hadoop 及其生态系统。
- 功能： 这些工具提供了一种跨分布式计算资源提取、加载、分析和处理数据的方法，从而提供新的洞察和知识。
- 组织优势： 这为组织提供了更多与客户联系和丰富服务的途径。
所以，下次您戴上智能手表、解锁智能手机或追踪锻炼时，请记住，您的数据正在踏上一段旅程，它可能会经历大数据分析，然后以新的洞察形式回到您身边。