Module 04 · Data literacy for Data Science (Optional)

Lesson Summary: Understanding Data数据理解：数据科学的基础

数据是数据科学的基石。作为一名成功的数据科学家，您必须深入理解数据的不同形式、来源、存储方式以及访问方式。

1. 数据结构分类

数据根据其组织程度可分为三类：

结构化数据 (Structured Data):
- 特点: 具有明确定义的结构，遵循指定的数据模型和模式（schema）。
- 存储: 可存储在数据库等定义良好的模式中，通常以行和列的表格形式表示，模式定义了表之间的关系。
- 示例: SQL 数据库、传统数据仓库。
半结构化数据 (Semi-structured Data):
- 特点: 具有一些组织属性，但缺乏固定的或严格的模式。不能存储为传统的行和列。
- 组织: 包含标签、元素或元数据，用于将数据组织成层次结构。
- 元数据 (Metadata): 提供关于数据本身的有用信息，可分为技术、过程或业务元数据。元数据需要通过数据目录（data catalog）进行管理，以增强数据发现、治理和访问。
- 格式: XML 和 JSON（一种人机可读的直接格式，没有预定义模式，易于传输）。
非结构化数据 (Unstructured Data):
- 特点: 异构（heterogenous），没有容易识别的结构，不遵循任何特定格式。
- 应用: 具有广泛的商业智能和分析应用。
- 分析: 通常需要人工智能 (AI) 来从中获取洞察。
- 来源: 网页、社交媒体提要、图像、视频、文本文档等。

可用于分析的数据源可以是任何带有电子足迹（electronic footprint）的东西，无论是自动生成还是手动转换（如将旧的模拟记录转换为电子格式）。

内部来源: 组织用于日常管理的内部应用程序，数据存储在数据库和数据仓库中。
外部来源: 公开和私有持有的数据集，甚至可以购买专有数据集。
常见格式:
- Flat File: 通常以单文件形式提供，例如 CSV。
- Spreadsheets: 另一种常见的表格格式。
- XML / JSON: 用于数据交换。JSON 因其无预定义模式的特点，方便在演变中的数据结构间传输。
数据访问: 现代基于云的软件应用通常通过 API (Application Programming Interface) 访问数据。当处理 JSON 数据时，应用程序常使用 RESTful API 进行数据传输。
- API 应用: 例如，Twitter 和 Facebook API 可用于获取帖子数据，进行意见挖掘和情感分析（如评估客户满意度）。

虽然数据采集和管理通常分配给数据工程师，但数据科学家经常需要参与数据传输以进行分析。