Coursera 笔记

Module 03 · Data Engineering Lifecycle数据工程生命周期

Tools for Data Wrangling数据整理软件与工具

Coursera ↗

本视频将介绍一些常用的数据整理 (Data Wrangling) 软件和工具，包括：

  • Excel Power Query / 电子表格和加载项
  • OpenRefine
  • Google DataPrep
  • Watson Studio Refinery
  • Trifacta Wrangler
  • Python
  • R

一、主流数据整理工具盘点

1. 电子表格和加载项 (Spreadsheets and Add-ins)

  • 工具示例：Microsoft Excel 和 Google Sheets。
  • 功能：内置了许多功能和公式，可帮助您识别问题、清洗和转换数据。
  • 加载项：提供加载项，允许从不同来源导入数据并按需清洗转换。
    • 示例：Excel 的 Microsoft Power Query 和 Google Sheets 的 Query 函数。

2. OpenRefine (开源工具)

  • 性质：一款开源工具。
  • 功能：支持导入和导出各种格式的数据（如 TSV、CSV、XLS、XML 和 JSON）。可用于清洗数据、在不同格式间转换数据，并通过 Web 服务和外部数据扩展数据。
  • 特点：易于学习和使用；提供菜单式操作，无需记住命令或语法。

3. Google DataPrep (云服务)

  • 性质：一款智能云数据服务。
  • 功能：允许您可视化探索、清洗和准备结构化和非结构化数据以进行分析。
  • 特点：完全托管式服务（无需安装或管理软件或基础设施）；极其易用；您执行的每个操作都会收到下一步理想步骤的建议；可以自动检测模式、数据类型和异常。

4. Watson Studio Refinery (IBM)

  • 性质：可通过 IBM Watson Studio 或 Cloud Pak for Data 获得的 IBM Data Refinery。
  • 功能：允许您使用内置操作来发现、清洗和转换数据。将大量原始数据转换为可消费的、高质量的分析就绪信息。
  • 特点：提供灵活性，可探索驻留在各种数据源中的数据；自动检测数据类型和分类；自动执行适用数据治理策略。

5. Trifacta Wrangler (云服务)

  • 性质：一款交互式云服务。
  • 功能：处理凌乱的真实世界数据，并将其清洗和重新排列成数据表，然后可导出到 Excel、Tableau 和 R。
  • 特点：以其协作功能而闻名，允许多个团队成员同时工作。

二、编程语言和库

1. Python

Python 拥有庞大的库和包集，提供强大的数据操作能力。

库/包 全称/描述 主要功能
Jupyter Notebook 开源 Web 应用程序。 广泛用于数据清洗和转换、统计建模以及数据可视化。
Numpy Numerical Python，最基础的包。 快速、通用、互操作且易于使用。支持大型、多维数组和矩阵，并提供操作这些数组的高级数学函数。
Pandas 专为快速简便的数据分析操作而设计。 允许使用简单的单行命令执行合并、连接和转换大量数据等复杂操作；可以防止来自不同来源数据未对齐导致的常见错误。

2. R

R 也提供一系列专门为整理凌乱数据而创建的库和包。

库/包 描述 主要功能
Dplyr 强大的数据整理库。 具有精确且直截了当的语法，用于调查、操作和分析数据。
Data.table - 帮助快速聚合大型数据集。
Jsonlite 强大的 JSON 解析工具。 非常适合与 Web APIs 交互。

三、工具选择的考量因素

数据整理工具具有不同的能力和维度。您决定选择最适合自己需求的工具，将取决于特定于您的用例、基础设施和团队的因素，例如：

  • 支持的数据大小
  • 数据结构
  • 清洗和转换能力
  • 基础设施需求
  • 易用性和可学习性