Coursera 笔记

Module 02 · The Data Engineering Ecosystem数据工程生态系统

Understanding Different Types of File Formats常见数据文件类型与格式

Coursera ↗

作为一名数据专业人士，您将接触和处理各种数据文件类型和格式。理解这些文件格式的底层结构及其优势与局限性至关重要。这种理解将帮助您针对数据和性能需求做出最合适的格式选择。

本文将涵盖以下几种标准文件格式：

  • 定界文本文件格式 (Delimited Text Files)
  • Microsoft Excel Open XML 电子表格 (XLSX)
  • 可扩展标记语言 (XML)
  • 便携式文档格式 (PDF)
  • JavaScript 对象表示法 (JSON)

定界文本文件格式 (Delimited Text Files)

定界文本文件是一种用于存储文本数据的文本文件。其中，每一行（或称记录） 的值由一个定界符分隔。

💡 定界符 (Delimiter)：是一个或多个字符的序列，用于指定独立实体或值之间的边界。

特征与类型

  • 可以使用任何字符来分隔值，但最常见的定界符包括：逗号、制表符、冒号、垂直线和空格。
  • 此类别中最常用的文件类型是：
    • 逗号分隔值 (CSVs - Comma-Separated Values)：定界符是逗号（,）。
    • 制表符分隔值 (TSVs - Tab-Separated Values)：定界符是制表符（Tab）。
  • 当文本数据中存在字面逗号，无法用作定界符时，TSVs 可作为 CSVs 的替代格式，因为制表位在一般运行文本中不常出现。
  • 文本文件中的每一行（水平线） 都是一个记录，包含一组由定界符分隔的值。
  • 第一行通常作为列标题（Column Header），每一列可以包含不同类型的数据，例如日期型、字符串型或整数型数据。

优势

  • 定界文件允许任意长度的字段值。
  • 被认为是提供直观信息架构的标准格式。
  • 几乎可以被所有现有应用程序处理。
  • 定界符也是指定数据流中边界的各种方法之一。

Microsoft Excel Open XML 电子表格 (XLSX)

Microsoft Excel Open XML 电子表格 (XLSX) 属于电子表格文件格式，是 Microsoft 创建的基于 XML 的文件格式。

结构与特点

  • 一个 .XLSX 文件，也称为工作簿 (Workbook)，可以包含多个工作表 (Worksheets)。
  • 每个工作表由行和列组成，它们的交汇点是单元格 (Cell)。每个单元格都包含数据。
  • XLSX 采用开放文件格式，这意味着它通常可被大多数其他应用程序访问。
  • 它能够使用和保存 Excel 中所有可用功能。
  • 它被认为是一种更安全的文件格式之一，因为它无法保存恶意代码。

可扩展标记语言 (XML)

可扩展标记语言 (XML - Extensible Markup Language) 是一种具有一套数据编码规则的标记语言。

性质与应用

  • XML 文件格式既可供人类阅读，也可供机器阅读。
  • 它是一种自我描述的语言，旨在通过互联网发送信息。
  • XML 在某些方面与 HTML 相似，但也存在差异。例如，XML 不使用像 HTML 那样的预定义标签。
  • XML 独立于平台和编程语言，因此简化了不同系统之间的数据共享。

便携式文档格式 (PDF)

便携式文档格式 (PDF - Portable Document Format) 是由 Adobe 开发的一种文件格式，旨在独立于应用程序软件、硬件和操作系统来呈现文档。

用途与优势

  • 这意味着 PDF 文件可以在任何设备上以相同的方式查看。
  • 这种格式常用于法律和金融文档。
  • 它也可以用于填写数据，例如表单。

JavaScript 对象表示法 (JSON)

JavaScript 对象表示法 (JSON - JavaScript Object Notation) 是一种基于文本的开放标准，专为通过网络传输结构化数据而设计。

核心特点

  • 这是一种语言无关的数据格式，可以在任何编程语言中读取。
  • JSON 易于使用，与广泛的浏览器兼容。
  • 它被认为是共享任何大小和类型数据（甚至包括音频和视频）的最佳工具之一。
  • 这也是许多 API 和 Web 服务将数据作为 JSON 返回的原因之一。