Data Preparation - Concepts从理解到准备：数据科学方法论 101 – 数据准备 (概念篇)

1. 数据准备概述与耗时比例

从某种意义上说，数据准备 (Data Preparation) 类似于清洗刚采摘的蔬菜，即去除不需要的元素（如污垢或瑕疵）。

数据准备、数据收集和数据理解共同构成了数据科学项目中最耗时的阶段，通常会占用总项目时间的 70%，甚至高达 90%。

时间优化：通过在数据库中自动化部分数据收集和准备流程，可以将所需时间减少到低至 50%。这种时间节省意味着数据科学家可以投入更多时间专注于创建模型。

2. 数据的转换使数据更易处理

沿用烹饪的比喻，我们知道将洋葱切得更细，能使其风味更轻易地散布在酱汁中，而不是将整个洋葱直接放入锅中。

同理，在数据准备阶段转换数据，目的是使数据达到更易于使用的状态。

具体而言，数据准备阶段回答的问题是：

数据是以何种方式进行准备的？

核心准备任务

为了有效地使用数据，必须对其进行准备以解决以下问题：

• 处理缺失值或无效值。
• 移除重复项 (Duplicates)。
• 确保所有数据的格式正确。

3. 特征工程 (Feature Engineering) 的重要性

特征工程也是数据准备的一部分。

• 定义：它是利用对数据的领域知识来创建特征 (Features) 的过程，这些特征能使机器学习算法发挥作用。
• 特征 (Feature)：是一种有助于解决问题的特性或属性。
• 影响：数据中的特征对于预测模型至关重要，并将影响您希望实现的结果。

当应用机器学习工具来分析数据时，特征工程是关键。

4. 文本分析与细节关注

在处理文本数据时，需要执行文本分析步骤对数据进行编码，以便能够操纵这些数据。

• 数据科学家需要清楚自己在数据集中寻找什么，以解决问题。
• 文本分析至关重要，它确保设置了适当的分组，并且程序没有忽略数据中隐藏的信息。

5. 阶段总结与质量要求

数据准备阶段为解决问题的后续步骤奠定了基础。虽然这个阶段可能耗费较长时间，但如果做得好，结果将对项目提供有力支持。

⚠️ 风险提示：如果跳过或草率完成这一阶段，最终结果将不尽人意，甚至可能导致您从头开始。

• 关键要求：至关重要的是，要花时间在这个领域，并利用可用工具自动化常见步骤以加速数据准备。
• 细节至上：务必注意这方面的细节。毕竟，只需要**一个不好的“食材”**就能毁掉一顿美味的晚餐。

---

感谢收看！本视频结束了课程中**“数据准备”**的关键概念部分。