Data Collection从要求到收集：数据科学方法论 101 – 数据收集

1. 数据收集阶段概述

数据收集阶段紧随数据需求阶段之后。在执行初始数据收集后，数据科学家将进行评估，以确定是否已获取所需的数据。

食材比喻：就像为准备一顿饭而采购食材一样，某些“食材”可能过季而更难获取，或成本高于最初预期。

阶段重点工作

• 数据需求的修订：对既定的数据需求进行修订。
• 数据量决策：决定收集是否需要更多或更少数据。

一旦数据“食材”收集完毕，在数据收集阶段，数据科学家将对所使用的数据有一个清晰的理解。

数据评估与修正

• 评估技术：可以对数据集应用描述性统计和可视化等技术，以评估数据的内容、质量和初步洞察。
• 识别与填补：将识别出数据中的空白 (Gaps in data)，并制定填补或替代计划。

⚠️ 核心状态：本质上，“食材”现在已放在切菜板上，等待后续处理。

---

2. 案例研究应用：数据收集的挑战与策略

资料来源确定

收集数据要求明确所需数据元素的来源或查找位置。在我们的案例研究中，这些信息包括：

• 患者的人口统计学、临床和保险覆盖信息。
• 医疗服务提供者信息。
• 索赔记录。
• 与充血性心力衰竭 (CHF) 患者所有诊断相关的药物和其他信息。

药理学数据处理的示例

在本次案例研究中，某些药物信息是必需的，但该数据源尚未与其余数据源集成。

策略：延迟决策

推迟对暂不可用数据做出最终决定，并在稍后阶段尝试获取它们是可行的。例如，这可以在从预测建模获得一些中期结果之后再进行。

如果中期结果表明药物信息对于获得一个好的模型可能很重要，那么就可以投入时间去尝试获取它。然而，实际情况是，即使没有这些药物信息，他们也能够构建出一个相当不错的模型。

数据库管理与协作

• 提取与合并：数据库管理员 (DBAs) 和程序员经常协作，从各种来源提取数据，然后将其合并。
• 去除冗余：这样做有助于移除冗余数据，并使数据可用于方法论的下一阶段——数据理解。

流程优化

在此阶段，如有必要，数据科学家和分析团队成员可以讨论更好地管理数据的各种方法，包括在数据库中自动化某些流程，从而使数据收集变得更轻松、更快。

---

感谢收看！本视频结束了课程中**“数据收集”**的部分。