Coursera 笔记

Module 04 · Data literacy for Data Science (Optional)

Understanding Data数据结构分类

Coursera ↗

数据是未组织的信息,经过处理后变得有意义。数据可以根据其组织方式分为三种主要类型:结构化、半结构化和非结构化数据。


1. 结构化数据 (Structured Data)

结构化数据是高度组织化的信息,具有明确定义的结构或遵循特定的数据模型。

  • 特点:
    • 具有明确定义的模式(schema)。
    • 可以以表格(rows and columns)的形式存储。
    • 便于使用标准数据分析方法和工具进行检查。
  • 存储位置: 关系数据库(SQL Databases)、在线事务处理(OLTP)系统。
  • 来源示例: SQL 数据库、电子表格(如 Excel)、在线表单、传感器数据(GPS, RFID)、网络和 Web 服务器日志。

2. 半结构化数据 (Semi-structured Data)

半结构化数据具有一定的组织属性,但缺乏固定的或严格的模式(rigid schema)。

  • 特点:
    • 不能以严格的行和列形式存储。
    • 包含标签(tags)和元数据(metadata)来对数据进行分组和组织层次结构。
  • 存储格式: XML 和 JSON 广泛用于存储和交换半结构化数据,它们允许用户定义标签和属性以分层形式存储数据。
  • 来源示例: 电子邮件、XML 和其他标记语言、二进制可执行文件、TCP/IP 数据包、压缩文件、来自不同来源的数据集成。

3. 非结构化数据 (Unstructured Data)

非结构化数据是没有容易识别的结构的数据,因此不能以行和列的形式组织在主流关系数据库中。

  • 特点:
    • 不遵循任何特定的格式、序列、语义或规则。
    • 处理来源的异构性(heterogeneity of sources)。
  • 存储位置: 文件和文档(例如 Word 文档)用于手动分析,或存储在具有相应分析工具的 NoSQL 数据库中。
  • 来源示例: 网页、社交媒体提要、图像(JPEG, GIF, PNG)、视频和音频文件、文档和 PDF 文件、PowerPoint 演示文稿、媒体日志、调查。

数据类型 组织程度 模式(Schema) 典型存储
结构化 高度组织 明确固定 关系数据库 (SQL)
半结构化 部分组织 缺乏固定 XML, JSON
非结构化 无容易识别结构 无特定格式 文件/文档, NoSQL 数据库

接下来,您将了解不同类型的文件结构。