Coursera 笔记

Module 01 · From Problem to Approach and From Requirements to Collection

Data Requirements从要求到收集:数据科学方法论 101 – 数据需求

Coursera ↗

1. 数据需求:数据科学的“烹饪”准备

数据科学方法论的这一部分可以被视为用数据进行“烹饪”。如果说需要解决的问题是**“食谱”,而数据是“食材”**,那么数据科学家需要明确以下关键步骤:

如果您的目标是做一份意大利面晚餐,但没有正确的配料,那么您的成功就会受到影响。在数据科学中,每一步都至关重要。

在巩固了对现有问题的理解,并选定了分析方法后,数据科学家就可以开始行动了。

关键步骤识别

  • 所需的“食材”:哪些数据是必需的?
  • 如何采购与收集:如何获取这些数据?
  • 理解与处理:如何理解或使用这些数据?
  • 准备以满足预期结果:如何准备数据以达成预期产出?

在方法论的数据收集和数据准备阶段之前,定义数据需求对于决策树分类模型至关重要。这包括确定初始数据收集所需的数据内容、格式和来源。


2. 案例研究应用:数据需求的界定

在案例研究中,首要任务是为选定的决策树分类方法定义数据需求。这包括从医疗保险提供商的会员基础中选择一个合适的患者队列。

队列纳入标准 (Inclusion Criteria)

为了汇编完整的临床病史,确定了以下三项纳入标准:

纳入条件 具体要求 目的/说明
一、住院状态 患者必须在服务区域内以住院患者身份入院。 确保可以访问必要的信息。
二、诊断焦点 重点关注在整整一年内被诊断为充血性心力衰竭 (CHF) 的患者。 确保数据的相关性和时效性。
三、连续注册 患者必须在原发性 CHF 入院前,至少有六个月的连续注册记录。 以便能够汇编完整的病史。

队列排除标准 (Exclusion Criteria)

同时被诊断患有其他严重医疗状况的 CHF 患者被排除在该队列之外,因为这些状况会导致高于平均水平的再入院率,从而可能扭曲结果。

格式与内容要求

随后,确定了决策树分类所需的数据内容、格式和表示形式。

  • 所需格式:该建模技术要求每位患者只有一条记录,列代表模型中的变量。
  • 所需内容:为了对再入院结果进行建模,需要涵盖患者临床病史的所有方面的数据,包括:
    • 入院信息
    • 主要、次要和三级诊断 (Primary, Secondary, Tertiary Diagnoses)
    • 手术程序 (Procedures)
    • 处方 (Prescriptions)
    • 住院期间或就诊期间提供的其他服务

由于单个患者可能拥有数千条事务性记录来代表其所有相关属性,因此,数据科学家需要将这些事务性记录汇总到患者级别,并创建一系列新变量来表示这些信息,才能达到“每位患者一条记录”的格式。

⚠️ 前瞻性思维:

这种汇总工作属于数据准备阶段的工作,因此,提前思考并预测后续阶段是至关重要的。


感谢收看!本视频结束了课程中**“数据需求”**的部分。