Module 04 · Data literacy for Data Science (Optional)
Data Integration Platforms数据集成平台
数据集成平台与 ETL 和数据管道的关系在于它们代表了数据流动的不同范围和目的：数据管道是涵盖整个数据移动旅程的广义概念，数据集成是实现数据统一的目标/学科，而 ETL 则是数据集成中一个关键的过程。
数据集成平台、ETL 与数据管道的关系
| 概念 | 范围 / 目的 | 与其他概念的关系 |
|---|---|---|
| 数据管道 (Data Pipeline) | 范围最广。涵盖数据从源系统到目标系统的完整移动旅程。 | 用于执行数据集成。 |
| 数据集成 (Data Integration) | 一个学科/目标。涉及摄取、转换、组合和提供数据，旨在将分散的数据组合成统一视图。 | 数据管道的目的之一。ETL 是其关键过程之一。 |
| ETL (Extract, Transform, Load) | 一个具体过程。用于将原始数据转换为分析就绪数据。 | 是数据集成框架内的关键子集。 |
简而言之： 您使用数据管道来执行数据集成，而 ETL 是数据集成内部的一个处理步骤。
数据集成 (Data Integration) 概述
数据集成是一个涵盖实践、架构技术和工具的学科，使组织能够跨各种数据类型摄取、转换、组合和提供数据。
A. 分析和数据科学中的作用
在分析领域，数据集成包括：
- 从操作系统访问、排队或提取数据。
- 对提取的数据进行逻辑或物理的转换和合并。
- 数据质量和治理。
- 通过集成方法交付数据用于分析。
例如，为分析提供统一的客户数据视图，需要从销售、营销和财务等操作系统中提取信息，并将它们整合成一个可供用户查询和操纵的单一接口。
B. 现代数据集成解决方案的能力
现代数据集成平台不仅仅执行简单的 ETL，它们通常支持以下关键功能：
- 广泛的连接器目录： 提供大量预构建连接器，以便连接各种数据源（数据库、平面文件、社交媒体、API、CRM/ERP 应用）。
- 开放架构： 提供更大的灵活性并避免供应商锁定（vendor lock-in）。
- 处理优化： 同时针对大规模数据的批量处理和连续数据流进行优化。
- 大数据集成： 能够与 Big Data 源集成，这是选择平台时日益重要的驱动因素。
- 附加功能： 支持数据质量、治理、合规性和安全性等特定需求。
- 可移植性： 能够在任何地方运行，并在单一云、多云或混合云环境中原生工作（例如，iPaaS 解决方案）。
C. 供应商与工具示例
市场上有各种数据集成平台和工具，包括：
- 商业工具: IBM (Information Server, Cloud Pak for Data), Talend (Data Fabric, Talend Cloud), SAP, Oracle, Microsoft, Qlik, TIBCO 等。
- 开放框架: Dell Boomi, Jitterbit, SnapLogic。
- 云集成平台即服务 (iPaaS): 作为托管服务通过虚拟或混合云提供，例如 Adeptia Integration Suite, Google Cloud's Cooperation, Informatica Integration Cloud 等。