Introduction to CRISP-DMCRISP-DM 简介 (Cross-Industry Standard Process for Data Mining)

1. 学习目标与 CRISP-DM 定义

观看本视频后，您将能够：

• 定义 CRISP-DM；
• 列出并描述 CRISP-DM 模型的六个阶段；
• 解释 CRISP-DM 最后阶段之后发生的情况。

什么是 CRISP-DM？

• 全称：CRISP-DM 代表跨行业数据挖掘标准流程 (Cross-Industry Standard Process for Data Mining)。
• 定义：它是一种行业验证有效的方法，用于指导数据挖掘工作。CRISP-DM 是一种迭代的数据挖掘模型，是数据挖掘项目的综合性方法论，为数据驱动的决策制定提供了一种结构化方法。
• 特点：作为一种数据方法论，CRISP-DM 模型研究包括六个数据挖掘阶段及其描述，并提供任务和阶段之间关系的解释。作为一种流程模型，它提供对数据挖掘生命周期的高级见解。

迭代与协作

与其他数据科学方法论一样，CRISP-DM 要求在每个阶段都具备灵活性，并需要与同事、管理层和利益相关者进行沟通，以确保项目保持在轨道上。

迭代性：在完成以下六个阶段中的任何一个之后，数据科学家可能需要重新审视早期的阶段并进行更改。

---

2. CRISP-DM 的六个阶段与核心任务

CRISP-DM 模型将基础数据方法论的步骤整合为以下六个阶段：

阶段一：商业理解 (Business Understanding)

• 重要性：这是最重要的阶段，因为它设定并概述了数据分析项目的意图。该阶段是 John Rollins 数据科学方法论和 CRISP-DM 方法论共同的阶段。
• 核心任务：需要沟通和清晰度来克服利益相关者不同的目标、偏见和信息相关模式。
• 风险提示：如果没有对业务问题和项目目标清晰、简洁和完整的理解，项目工作将浪费时间和资源。

阶段二：数据理解 (Data Understanding)

• 整合：CRISP-DM 将 John Rollins 方法论大纲中的数据需求、数据收集和数据理解阶段合并为一个单一的“数据理解”阶段。
• 核心任务：在此阶段，数据科学家决定数据源并获取数据。

阶段三：数据准备 (Data Preparation)

• 通用性：数据准备阶段是基础数据方法论和 CRISP-DM 共同的阶段。
• 核心任务：数据科学家将收集到的数据转换为可用的数据子集，并确定是否需要更多数据。在数据收集完成后，数据科学家选择数据集并处理可疑、缺失或模糊的数据值。

阶段四：建模 (Modeling)

• 目的：该阶段实现了数据挖掘的目标，创建能够揭示数据中的模式和结构的数据模型。这些模式和结构提供了解决既定业务问题和目标的知识和洞察。
• 核心任务：数据科学家基于数据的子集选择模型，并根据需要调整模型。模型选择既是艺术也是科学。
• 价值关注：基础方法论和 CRISP-DM 都专注于创建具有意义和实用性的知识信息。

阶段五：评估 (Evaluation)

• 核心任务：数据科学家测试选定的模型。通常会准备一个预先选择的测试来运行训练后的模型。
• 过程：测试平台将数据视为新数据，然后数据科学家评估模型的有效性。
• 结果：这些测试结果决定了模型的效用，并预示了模型在下一个（也是最后一个）阶段中的作用。

阶段六：部署 (Deployment)

• 核心任务：数据科学家和利益相关者在数据集范围之外的新数据上使用模型。
• 迭代提醒：此阶段的新交互可能会揭示新的变量，并可能需要不同的数据集和模型。

⚠️ 迭代性与循环性：

CRISP-DM 模型是迭代且循环的。部署结果可能会引发对业务需求和行动、模型和数据，或这些项目的任何组合的修订。

---

3. CRISP-DM 过程的收尾与持续性

在完成所有六个阶段后，您将与利益相关者进行另一次商业理解会议，以讨论结果。

您将持续 CRISP-DM 流程的阶段，直到利益相关者、管理层和您同意数据模型及其分析提供了解决其业务问题和实现其业务目标所需的答案为止。

---

总结

• CRISP-DM 代表跨行业数据挖掘标准流程 (Cross-Industry Standard Process for Data Mining)。
• 六个阶段：CRISP-DM 模型将基础数据方法论中的步骤整合为以下六个阶段：商业理解、数据理解、数据准备、建模、评估和部署。
• 过程持续：您将持续 CRISP-DM 流程，直到利益相关者、管理层和您同意数据模型及其分析能够回答业务问题为止。