Module 04 · Data literacy for Data Science (Optional)
Understanding Data数据结构分类
数据是未组织的信息,经过处理后变得有意义。数据可以根据其组织方式分为三种主要类型:结构化、半结构化和非结构化数据。
1. 结构化数据 (Structured Data)
结构化数据是高度组织化的信息,具有明确定义的结构或遵循特定的数据模型。
- 特点:
- 具有明确定义的模式(schema)。
- 可以以表格(rows and columns)的形式存储。
- 便于使用标准数据分析方法和工具进行检查。
- 存储位置: 关系数据库(SQL Databases)、在线事务处理(OLTP)系统。
- 来源示例: SQL 数据库、电子表格(如 Excel)、在线表单、传感器数据(GPS, RFID)、网络和 Web 服务器日志。
2. 半结构化数据 (Semi-structured Data)
半结构化数据具有一定的组织属性,但缺乏固定的或严格的模式(rigid schema)。
- 特点:
- 不能以严格的行和列形式存储。
- 包含标签(tags)和元数据(metadata)来对数据进行分组和组织层次结构。
- 存储格式: XML 和 JSON 广泛用于存储和交换半结构化数据,它们允许用户定义标签和属性以分层形式存储数据。
- 来源示例: 电子邮件、XML 和其他标记语言、二进制可执行文件、TCP/IP 数据包、压缩文件、来自不同来源的数据集成。
3. 非结构化数据 (Unstructured Data)
非结构化数据是没有容易识别的结构的数据,因此不能以行和列的形式组织在主流关系数据库中。
- 特点:
- 不遵循任何特定的格式、序列、语义或规则。
- 处理来源的异构性(heterogeneity of sources)。
- 存储位置: 文件和文档(例如 Word 文档)用于手动分析,或存储在具有相应分析工具的 NoSQL 数据库中。
- 来源示例: 网页、社交媒体提要、图像(JPEG, GIF, PNG)、视频和音频文件、文档和 PDF 文件、PowerPoint 演示文稿、媒体日志、调查。
| 数据类型 | 组织程度 | 模式(Schema) | 典型存储 |
|---|---|---|---|
| 结构化 | 高度组织 | 明确固定 | 关系数据库 (SQL) |
| 半结构化 | 部分组织 | 缺乏固定 | XML, JSON |
| 非结构化 | 无容易识别结构 | 无特定格式 | 文件/文档, NoSQL 数据库 |
接下来,您将了解不同类型的文件结构。