Coursera 笔记

Module 02 · The Data Engineering Ecosystem数据工程生态系统

Types of Data数据类型:结构化、半结构化与非结构化

Coursera ↗

数据是未经组织的信息,经过处理后才能变得有意义。通常,数据包括事实、观察结果、感知、数字、字符、符号和图像,可以对其进行解释以得出意义。

数据的一种分类方式是根据其结构,可分为:

  • 结构化 (Structured)
  • 半结构化 (Semi-structured)
  • 非结构化 (Unstructured)

1.结构化数据 (Structured Data)

  • 定义: 具有明确定义结构或遵循特定数据模型的数据。
  • 存储形式: 可以存储在明确定义的模式(如数据库)中,并且在许多情况下可以以行和列的表格形式表示。
  • 性质: 结构化数据是客观的事实和数字,可以收集、导出、存储和组织在典型的数据库中。

结构化数据的来源示例

  • SQL 数据库和专注于业务事务的在线事务处理 (OLTP) 系统。
  • 电子表格,如 Excel 和 Google Spreadsheets。
  • 在线表单。
  • 传感器,如全球定位系统 (GPS) 和射频识别 (RFID) 标签。
  • 网络和 Web 服务器日志。

处理方式

  • 存储: 您通常可以将结构化数据存储在关系型或 SQL 数据库中。
  • 分析: 您可以轻松地使用标准数据分析方法和工具来检查结构化数据。


2.半结构化数据 (Semi-structured Data)

  • 定义: 具有某些组织属性但缺乏固定或严格模式的数据。
  • 存储形式: 不能以数据库中行和列的形式存储。
  • 组织方式: 它包含标签和元素(或元数据),用于对数据进行分组并以层次结构进行组织。

半结构化数据的来源示例

  • 电子邮件 (E-mails)。
  • XML 和其他标记语言。
  • 二进制可执行文件 (Binary executables)。
  • TCP/IP 数据包 (TCP/IP packets)。
  • 压缩文件 (Zipped  filesZipped\;files)。
  • 来自不同来源的数据集成。

处理方式

  • 存储与交换: XML 和 JSON 允许用户定义标签和属性以层次结构形式存储数据,并被广泛用于存储和交换半结构化数据。


3.非结构化数据 (Unstructured Data)

  • 定义: 不具有易于识别的结构,因此无法以行和列的形式组织在主流关系数据库中。
  • 性质: 它不遵循任何特定的格式、序列、语义或规则。
  • 应用: 非结构化数据可以处理来源的异构性,并具有各种商业智能和分析应用。

非结构化数据的来源示例

  • 网页 (Web  pagesWeb\;pages)。
  • 社交媒体源 (Social  media  feedsSocial\;media\;feeds)。
  • 各种文件格式的图像(如 JPEG、GIF 和 PNG)。
  • 视频和音频文件。
  • 文档和 PDF 文件。
  • PowerPoint 演示文稿。
  • 媒体日志。
  • 调查 (SurveysSurveys)。

处理方式

  • 存储: 非结构化数据可以存储在文件和文档中(如 Word 文档)以进行手动分析,或存储在NoSQL 数据库中,后者拥有检查此类数据的专属分析工具。


总结:数据结构化分类

数据类型 核心特点
结构化数据 组织良好,格式可以存储在数据库中,适用于标准分析方法和工具。
半结构化数据 有一定组织,依赖元标签进行分组和层次化。
非结构化数据 不按照特定格式以传统的行和列形式组织。

在下一个视频中,我们将学习不同类型的文件结构。