Module 03 · From Deployment to Feedback and Final Evaluation
Feedback从部署到反馈：数据科学方法论 101 – 反馈
1. 反馈阶段概述与作用
一旦模型投入使用，来自用户和实际应用的反馈 (Feedback) 将有助于完善模型，并评估其性能和影响。
- 模型的价值：模型的价值将取决于能否成功地纳入反馈并进行调整，只要解决方案仍然需要，这一过程就将持续。
- 方法论的循环性：在整个数据科学方法论中，每一步都为下一步奠定了基础，这种循环性确保了在过程的每个阶段都能进行完善。
Rollins 的观点：反馈过程植根于一个理念——你了解得越多，就越想知道更多。
模型经过评估且数据科学家确信其有效后，它就会被部署并接受最终的考验：在实际领域中进行实时使用。
2. 案例研究应用：反馈计划的实施
针对案例研究，反馈阶段的计划包括以下步骤：
阶段一：建立审查机制
- 定义和实施审查流程：确立对充血性心力衰竭 (CHF) 风险人群的**“风险飞向 (flying to risk)”模型**结果进行衡量的总体责任。
- 责任人：临床管理执行人员将对整个审查过程负有总体责任。
阶段二：跟踪与衡量干预效果
- 跟踪记录：跟踪接受干预的 CHF 患者，并记录他们的再入院结果。
- 衡量有效性：对干预措施进行衡量，以确定其在降低再入院率方面的有效性。
伦理考量与影响衡量：
出于伦理原因，CHF 患者不会被分为对照组和治疗组。相反，将通过比较模型实施前后的再入院率来衡量其影响。
阶段三：年度回顾与模型精炼
- 实施一年后回顾：干预计划实施第一年后，将审查其对再入院率的影响。
- 模型精炼：基于模型实施后编译的所有数据以及在这些阶段中获得的知识，将完善模型。
模型精炼的具体内容
- 纳入有关参与干预计划的信息。
- 可能完善模型，以纳入详细的药物数据。
回忆：药物数据在数据收集阶段曾因不易获取而被推迟收集。但在经过反馈和模型实践经验后，可能会确定添加这些数据是值得投入努力和时间的。
- 允许在反馈阶段呈现其他精炼的可能性。
阶段四：重新部署与持续循环
- 干预措施与流程审查：干预行动和流程也将基于通过初始部署和反馈获得的经验和知识，进行审查并很可能进行完善。
- 重新部署：最终，完善后的模型和干预行动将重新部署，并且反馈过程将贯穿干预计划的整个生命周期。
感谢收看！本视频结束了课程中**“反馈”**的部分。