Module 01 · From Problem to Approach and From Requirements to Collection
Data Science Methodology Overview数据科学方法论概览
通过本视频的学习，您将掌握以下内容：
- 描述“方法论”一词的定义；
- 阐述方法论与数据科学的关系，以及 John Rollins 对数据方法论的贡献；
- 识别标准数据方法论的 10 个阶段；
- 对标准数据方法论 10 个阶段所涉及的问题进行分类。
1. 数据科学的定义与挑战
数据科学是一个具有影响力的领域，它结合了：
- 统计分析
- 技术专长
- 领域知识
其目的是从海量数据集中提取有价值的洞察。
⚠️ 当前面临的挑战：
尽管近期计算能力有所提升且数据获取更为便捷，但人们往往不理解所提出的问题，或者不知道如何正确应用数据来解决手头的问题。
使用方法论有助于解决上述问题。
2. 什么是方法论？
方法论 (Methodology) 是特定研究领域中使用的一套方法体系，它是研究人员在科学过程中必须做出的决策指南。
在数据科学背景下
- 定义：一种结构化的方法，指导数据科学家解决复杂问题并制定数据驱动的决策。
- 包含内容：
- 数据收集表
- 测量策略
- 针对不同研究目标和情境的数据分析方法比较
- 作用：为高效开展科学研究提供所需的实践指导。
注意：人们往往试图绕过方法论直接寻求解决方案。然而，直接跳到解决方案会阻碍解决问题的初衷。
3. John Rollins 与数据科学方法论
本课程讨论的方法论由 IBM 资深数据科学家 John Rollins 概述。该课程建立在他的专业经验以及对“遵循方法论以取得成功数据科学成果”的重要性的深刻见解之上。
数据科学方法论的 10 个阶段
作为通用的方法论，数据科学方法论由以下 10 个阶段 组成：
- 商业理解 (Business Understanding)
- 分析方法 (Analytic Approach)
- 数据需求 (Data Requirements)
- 数据收集 (Data Collection)
- 数据理解 (Data Understanding)
- 数据准备 (Data Preparation)
- 建模 (Modeling)
- 评估 (Evaluation)
- 部署 (Deployment)
- 反馈 (Feedback)
4. 核心问题分类 (Categorizing the Questions)
提问是数据科学成功的基石，问题驱动着数据科学方法论的每一个阶段。数据科学方法论旨在回答 10 个基本问题，这些问题可归纳为以下三类：
第一类：定义问题与确定方法 (前 2 个问题)
这两类问题有助于定义议题并确定使用何种方法：
- 您试图解决的问题是什么？
- 如何使用数据来回答这个问题？
第二类：围绕数据进行组织 (接下来的 4 个问题)
这组问题用于协助数据的组织工作：
- 回答该问题需要什么数据？
- 数据来源在哪里，以及将如何获取数据？
- 收集的数据是否能代表要解决的问题？
- 为了处理和使用数据，需要进行哪些额外工作？
第三类：验证方法与最终设计 (最后 4 个问题)
这组问题用于验证方法以及后续持续分析的最终设计：
- 应用数据可视化时，是否看到了解决商业问题的答案？
- 数据模型是否回答了最初的商业问题，还是需要调整数据？
- 能否将模型投入实践？
- 能否从数据和利益相关者处获得建设性反馈以回答商业问题？
视频总结
在本视频中，主要涵盖了以下要点：
- 指导作用：数据科学方法论指导数据科学家利用数据解决复杂问题。
- 组成要素：方法论包括数据收集表、测量策略以及针对不同研究目标的分析方法比较。
- 十个阶段：商业理解、分析方法、数据需求、数据收集、数据理解、数据准备、建模、评估、部署、反馈。
- 问题对应：10 个核心问题分别对应于定义商业议题、确定方法、组织数据以及验证最终数据设计的方案。