Module 03 · Packages, APIs, Data Sets, and Models

Data Sets - Powering Data Science数据集：驱动数据科学

Coursera ↗

欢迎观看“数据集——驱动数据科学的力量”视频。看完本视频后，您将能够：

定义数据集
描述数据所有权类型
列出数据来源
描述社区数据许可协议 (CDLA)

数据集定义与结构 (Definition and Structure of a Dataset)

首先，让我们定义什么是数据集 (Data Set)。

数据集 是数据的 结构化集合。

数据 (Data) 体现了以文本、数字或媒体（如图像、音频或视频文件）形式表示的信息。

常见数据结构类型

1. 表格数据 (Tabular Data)

表格数据集由包含列的行集合组成，这些行和列存储信息。
一种流行的表格数据格式是 “逗号分隔值 (CSV)”。
- CSV 文件 是一种定界文本文件，其中每行代表一个观测值或记录，逗号用于分隔数据值。
- 示例: 想象一个来自气象站的观测数据集。每行代表在特定时间的观测，而每列包含有关该观测的信息，例如温度、湿度和其他天气状况。

2. 层次结构或网络数据 (Hierarchical or Network Data)

通常用于表示数据之间的关系。
- 层次结构数据 以 树状格式 组织。
- 网络数据 以 图 (graph) 形式存储。
- 示例: 社交网站上人与人之间的连接通常表示为图。

3. 原始数据文件 (Raw Data Files)

数据集也可能包含原始数据文件，例如图像或音频。
示例: MNIST (Modified National Institute of Standards and Technology) 数据集 在数据科学中非常流行。它包含手写数字的图像，常用于训练图像处理系统。

数据所有权类型 (Types of Data Ownership)

1. 私有数据集 (Private Datasets)

传统上，大多数数据集是私有的，因为它们包含专有 (proprietary) 或机密 (confidential) 信息。
这些信息包括：客户数据、定价数据或其他具有商业敏感性的信息。
此类数据集通常不会公开发布。

2. 开放数据 (Open Data)

随着时间的推移，许多公共和私人实体（例如科学机构、政府、组织，甚至公司）已开始向公众提供数据集，将其作为 “开放数据”，提供免费信息。
示例: 联合国以及世界各地的联邦和市政政府已在其网站上发布了许多数据集，涵盖经济、社会、医疗保健、交通、环境等。

开放数据的重要性:

访问这些开放数据集能够使数据科学家、研究人员、分析师等发现以前未知且具有潜在价值的洞察。它们被用于创建新的应用程序，服务于商业目的和公共利益，并用于开展进一步研究。开放数据在数据科学、机器学习和人工智能的增长中发挥了重要作用，允许从业者在各种数据集上磨练他们的技能。

开放数据来源 (Sources of Open Data)

互联网上有许多开放数据源。

来源类型	示例或描述
数据门户网站	您可以在 Open Knowledge Foundation 的 datacatalogs.org 网站上找到全球可用数据门户的综合列表。
政府与国际组织	联合国、欧盟和许多其他政府及政府间组织维护着数据存储库，提供对广泛信息的访问。
数据科学社区	在流行的在线数据科学社区 Kaggle 上，您可以找到（并贡献）可能具有普遍兴趣的数据集。
搜索引擎	Google 提供了一个搜索引擎，可以帮助您找到对您有价值的数据集。

社区数据许可协议 (CDLA)

开放数据的分发和使用可能会受到某些许可条款 (licensing terms) 的限制。

过去，在没有专门针对开放数据分发许可的情况下，许多数据集是根据开源软件许可 (open-source software licenses) 共享的。
但这些许可并非旨在涵盖与数据集分发和使用相关的特定考量因素。

为了解决这个问题，Linux 基金会 创建了 社区数据许可协议 (Community Data License Agreement, CDLA)。

最初创建了两种用于共享数据的许可证：CDLA-Sharing 和 CDLA-Permissive。

许可类型	授予的权限	核心义务 (对数据更改)
CDLA-Sharing	允许您使用和修改数据。	如果您发布修改后的数据版本，必须根据与原始数据相同的许可条款进行发布。
CDLA-Permissive	允许您使用和修改数据。	不要求您分享对数据的更改。

⚠️ 重要提示：

值得注意的是，这两种许可都没有对您使用数据可能获得的结果施加任何限制，这在数据科学中非常重要。

例如: 假设您正在构建一个执行预测的模型。如果您使用 CDLA 许可的数据集 来训练模型，则没有义务共享该模型，或者如果您选择共享，也没有义务以特定许可条款进行共享。

总结要点 (Conclusion)

在本视频中，您了解到：

开放数据 是数据科学的基础。
社区数据许可协议 (CDLA) 使开放数据的共享变得更加容易。
开放数据集可能无法满足企业要求，因为它们可能对业务产生影响。