Module 02 · From Understanding to Preparation and From Modeling to Evaluation
Evaluation从建模到评估：数据科学方法论 101 – 评估
1. 模型评估阶段的定义与目的
模型评估 (Model Evaluation) 与模型构建是相辅相成的，因此建模与评估阶段是迭代进行的。评估在模型开发期间执行，并在模型部署之前完成。
核心目的
评估不仅用于衡量模型质量，也是检查模型是否符合初始请求的机会。
评估阶段回答的核心问题是：
所使用的模型是否真正回答了最初的问题，或者是否需要进行调整？
模型评估的两个主要阶段
| 阶段 | 目的 | 适用场景与技术 |
|---|---|---|
| 诊断性测量阶段 (Diagnostic Measures) | 确保模型按预期运行，找出需要调整的领域。 | 预测模型：可使用决策树评估输出答案是否与初始设计一致。 描述性模型：可应用具有已知结果的测试集进行细化。 |
| 统计显著性检验阶段 (Statistical Significance Testing) | 确保数据在模型中得到正确的处理和解释。 | 旨在避免在结果揭示时不必要的二次猜测或怀疑。 |
2. 案例研究应用：寻找最优模型
我们将回到案例研究，应用“评估”组件。这里，我们将通过基于调整模型构建中的一个参数——误分类“是”和“否”的相对成本，来探讨寻找最优模型的一种诊断性测量方法。
四个模型的比较
如下表所示，构建了四个具有不同相对误分类成本的模型。
| 模型 | 相对误分类成本 | 真阳性率 (True-Positive Rate) / 敏感度 (Sensitivity) | 伪阳性率 (False-Positive Rate) |
|---|---|---|---|
| 模型 1 | 1:1 | 增加 | 降低 |
| 模型 2 | 9:1 | 增加 | 提高 |
| 模型 3 | 4:1 | 增加 | 适度提高 |
| 模型 4 | ... | ... | ... |
规律观察：该模型构建参数的每个值都会提高预测“是”结果的准确率（即真阳性率/敏感度），但代价是降低预测“否”的准确率（即增加伪阳性率）。
确定最优模型的挑战
接下来的问题是：根据该参数的调整，哪个模型是最好的？
- 预算考量：出于预算原因，风险降低干预措施不能应用于大多数或所有 CHF 患者（其中许多患者无论如何都不会再入院）。
- 干预效果：另一方面，如果锁定的高风险 CHF 患者不足，干预措施在改善患者护理方面的效果将不如预期。
因此，需要找到一个最优的平衡点。
ROC 曲线分析 (Receiver Operating Characteristic Curve)
最优模型是通过诊断性测量确定的。最优模型是相对于红色基线，与蓝色 ROC 曲线之间提供最大分离度的模型。
在四个模型中，我们可以看到模型 3（相对误分类成本为 4:1）是表现最佳的模型。
背景知识：
ROC 代表接收者操作特征曲线 (Receiver Operating Characteristic Curve)。
- 起源：它最初是在二战期间开发出来，用于雷达检测敌方飞机。
- 用途：今天，它在机器学习和数据挖掘等许多领域得到普遍使用。
- 核心功能：ROC 曲线是一个有用的诊断工具，用于确定最优分类模型。它量化了当某个判别标准（在本例中为相对误分类成本）发生变化时，二元分类模型（分类“是”和“否”结果）的执行效果。
- 绘图依据：通过绘制不同相对误分类成本值下的真阳性率与伪阳性率，ROC 曲线有助于选择最优模型。
感谢收看！本视频结束了课程中**“评估”**的部分。