Module 04 · Data literacy for Data Science (Optional)
Lesson Summary: Welcome to Data Literacy数据素养总结：存储、管理与检索
作为数据科学家，您需要了解数据的存储可能性、组织管理方式以及检索选项，以便从海量数据中发现隐藏的洞察。
1. 数据存储库的类型
数据存储库的选择取决于您处理的数据类型（结构化、半结构化或非结构化）以及数据量。
A. 关系数据库 (RDBMS)
- 结构: 基于表格格式（行和列），遵循明确定义的模式（schema），表之间通过关系连接。
- 查询: 主要依赖结构化查询语言 (SQL) 进行搜索和数据操作。
- 优势:
- 通过模式限制数据类型和值，确保数据一致性和数据完整性。
- 提供简单的备份和恢复选项。
- 适用于可视化、分析和查找不同数据片段之间的连接。
- 局限性:
- 不适用于半结构化或非结构化数据。
- 查询巨大数据集时速度较慢。
- 字段长度有限制，且数据结构演变时可能出现问题。
B. NoSQL 数据库 ("Not Only SQL")
- 出现原因: 为应对 RDBMS 的局限性以及数据量和多样性的增长而生，旨在提高速度、灵活性和规模。
- 特点: 允许无严格模式地存储数据，能够容纳半结构化和非结构化数据。
| NoSQL 类型 | 数据模型 | 描述 |
|---|---|---|
| 文档型 (Document) | 存储半结构化文档（如 JSON 文件）。 | 文档分组为集合，每个文档有自己的结构。 |
| 键值存储 (Key-Value) | 将每条数据作为键值对存储。 | 使用唯一的键进行数据检索和更新。 |
| 列式 (Columnar) | 按列而不是行存储数据。 | 适用于分析工作负载和存储大量数据。 |
| 图 (Graph) | 将数据存储为节点，节点之间有关系和属性。 | 适用于管理和查询复杂关系网络。 |
C. 大数据存储
| 存储类型 | 目的 | 结构 |
|---|---|---|
| 数据仓库 (Data Warehouse) | 多用途存储，用于报告和分析，数据已被建模和结构化，分析就绪。 | 结构化 |
| 数据集市 (Data Mart) | 数据仓库的子集，专为特定业务功能或用户社区构建。 | 结构化 |
| 数据湖 (Data Lake) | 存储库，以原生格式存储大量结构化、半结构化和非结构化数据。 | 混合（原生格式） |
2. 数据处理与检索流程
数据管道是管理和检索大规模数据的系统化过程。
- 数据管道 (Data Pipeline):
- 涵盖了收集、转换和移动数据的多步骤、系统化过程，以处理海量、持续收集的数据。
- ETL (Extract, Transform, Load):
- 是数据管道的一个子集。
- 一个自动化过程，用于将原始数据转换为分析就绪的数据。
作为未来的数据科学家，您需要掌握这些技术，以便在开始分析之前，管理和检索所需的数据。