Modern Data Ecosystem现代数据生态系统概览

数据的持续增长

引用《福布斯》2020 年关于未来十年数据的报告：

“数据处理速度和带宽的持续提升，用于创建、共享和消费数据的新工具的不断涌现，以及全球范围内新数据创建者和消费者的稳步增加，确保了数据增长持续不减。数据在不断的良性循环中催生更多数据。”

---

现代数据生态系统的组成实体

一个现代数据生态系统包含一个由相互连接、独立且持续演进的实体组成的网络。它包括：

• 数据： 必须从不同来源进行整合。
• 分析与技能： 用于生成洞察力的不同类型的分析和技能。
• 活跃的利益相关者： 协作并根据生成的洞察采取行动的活跃参与者。
• 工具、应用和基础设施： 用于按需存储、处理和传播数据的设施。

---

第一步：数据源与采集

首先从数据源开始。

数据源的多样性

数据以各种结构化和非结构化数据集的形式存在，这些数据集驻留在：

• 文本、图像、视频。
• 点击流、用户对话。
• 社交媒体平台。
• 物联网 (IoT) 设备。
• 流式传输数据的实时事件。
• 传统数据库。
• 专业数据提供商和机构提供的数据。

👉 数据源从未如此多样化和动态化。

数据采集阶段的挑战

当处理如此多不同的数据源时，第一步是将数据的副本从原始来源拉取到数据存储库中。

在这个阶段，您只关注获取所需的数据——处理数据的格式、来源以及可以拉取数据的接口。

此阶段需要应对的挑战包括数据采集的可靠性、安全性和完整性。

---

第二步：数据组织、清理与优化

一旦原始数据进入一个公共位置，它就需要进行组织、清理和优化，以便最终用户访问。

合规性与标准化

数据还需要符合组织内部强制执行的合规性和标准。

数据管理挑战

此阶段的主要挑战可能涉及数据管理以及与提供高可用性、灵活性、可访问性和安全性的数据存储库进行协作。

---

第三步：数据分发与消费

最后，业务利益相关者、应用、程序员、分析师和数据科学用例都将从企业数据存储库中拉取数据。

分发阶段的关键挑战

此阶段的关键挑战可能包括接口、API 和应用，它们必须根据最终用户的特定需求将数据传递给他们。

---

塑造数据生态系统的新兴技术

值得注意的是，一些新兴技术正在塑造当今的数据生态系统及其可能性，例如：

云计算 (Cloud Computing)

得益于云技术，如今每个企业都能获得：

• 无限的存储空间。
• 高性能计算。
• 开源技术。
• 机器学习技术。
• 最新的工具和库。

机器学习 (Machine Learning)

数据科学家正在通过使用历史数据训练机器学习算法来创建预测模型。

大数据 (Big Data)

• 如今我们处理的数据集如此庞大且多样，以至于传统工具和分析方法已不再适用。
• 这为新工具和技术以及新知识和洞察铺平了道路。

我们将在本课程的后续内容中进一步了解大数据及其对业务决策的影响。