Module 03 · Data Engineering Lifecycle数据工程生命周期
Governance and Compliance数据治理与合规
数据治理 (Data Governance) 是一套原则、实践和流程的集合，旨在维护数据在整个生命周期中的安全、隐私和完整性。
📘 治理框架：一个数据治理框架涵盖了组织数据管理流程的每个部分，包括技术、数据库和数据模型。
Ⅰ. 需要保护的数据类型与法规
1. 保护目标
法规主要旨在保护个人和敏感数据免遭滥用，即：
- 可以追溯到个人的数据。
- 可以用于识别个人的数据。
- 包含可能对个人造成伤害的信息（例如，关于种族、性取向或遗传信息的数据）。
2. 主要数据法规
| 法规/标准 | 适用范围 | 保护内容 |
|---|---|---|
| GDPR (通用数据保护条例) | 欧盟 (European Union) | 保护欧盟公民的个人数据和隐私。 |
| CCPA (加州消费者隐私法案) | 美国加州 (California) | 更好地保护客户数据。 |
| HIPAA 隐私规则 | 医疗保健行业 | 管控受保护健康信息的收集和披露。 |
| PCI DSS 标准 | 零售行业 | 管控信用卡数据。 |
| SOX 法规 | 金融行业 | 管控财务信息的处理和报告。 |
3. 合规性 (Compliance)
- 定义：涵盖组织遵守法规并以合法和道德方式开展运营的流程和程序。
- 要求：组织需要建立控制和检查机制以遵守法规，并维护可验证的审计追踪，以证明其遵守了这些法规。
- 后果：不遵守标准的后果可能很严重，包括经济处罚、损害公众形象以及失去客户和合作伙伴的信任。
📌 持续过程：合规性不是一次性活动，而是一个持续的过程，需要人员、流程和技术的结合，并不断发展。
Ⅱ. 数据生命周期中的治理要求
治理法规要求企业了解其目的，并在数据生命周期的每一步都做到清晰透明。以下是数据生命周期各阶段的一些治理考量：
| 阶段 | 治理要求 | 关键考量 |
|---|---|---|
| 数据获取 (Data Acquisition) | 确定：应收集哪些数据；收集数据的法律依据（合同和同意书）；数据预期用途（需作为隐私政策发布）；以及满足目的所需的数据量。 | 收集电子邮件地址是否足够，还是还需要电话号码和邮政编码？ |
| 数据处理 (Data Processing) | 确定：如何处理个人数据的详细信息；以及处理个人数据的法律依据（如合同或同意书）。 | - |
| 数据存储 (Data Storage) | 确定：数据将存储在哪里；以及为防止内部和外部安全漏洞将采取的具体措施。 | - |
| 数据共享 (Data Sharing) | 确定：供应链中哪些第三方供应商可以访问您收集的数据；以及如何通过合同要求他们遵守您应承担责任的相同法规。 | - |
| 数据保留与处置 (Data Retention and Disposal) | 确定：指定时间后保留和删除个人数据的政策和流程；以及如何确保在删除数据时，它会从所有位置（包括第三方系统）中移除。 | - |
🔑 审计追踪：在这些阶段中的每一步，都必须维护个人数据获取、处理、存储、访问、保留和删除的可审计追踪。
Ⅲ. 确保合规的技术和控制
工具和技术在治理实施框架中发挥着关键作用：
1. 身份验证与访问控制
| 技术 | 作用 | 机制 |
|---|---|---|
| 身份验证 (Authentication) | 验证您声称的身份，提供防范未经授权访问的保护。 | 分层验证：密码、令牌和生物识别技术的组合。 |
| 访问控制 (Access Control) | 确保授权用户基于其用户组和角色访问资源（系统和数据）。 | 数据库中的角色和权限概念，确保只有授权用户和应用程序才能访问特定对象（例如表、行或列）。 |
2. 加密与数据脱敏
- 加密 (Encryption)：将数据转换为编码格式，只有通过安全密钥解密后才能阅读。
- 适用范围：静止数据（驻留在存储系统中的数据）和传输数据（在浏览器、服务、应用和存储系统之间移动的数据）。
- 数据脱敏 (Data Masking)：提供用于下游处理的数据匿名化和假名化。
- 匿名化 (Anonymization)：在不改变数据库中数据本身的情况下抽象化表示层（例如，显示在屏幕上时用符号替换字符）。
- 假名化 (Pseudonymization)：一种去标识化过程，用人工标识符替换个人身份信息 (PII)，使数据集无法追溯到个人的身份（例如，用名称字典中的随机值替换姓名）。
3. 托管选项
- 要求：内部部署和云系统中的托管选项必须符合国际数据传输的要求和限制。
4. 监控与警报
- 安全监控：帮助主动监控、跟踪和应对基础设施、应用和平台中的安全违规行为。
- 审计报告：监控系统提供详细的审计报告，跟踪对数据的访问和其他操作。
- 警报功能：在安全漏洞发生时立即发出警报，以便触发即时补救行动。警报基于系统中预定义的严重性和紧急程度。
5. 数据擦除 (Data Erasure)
- 定义：一种基于软件的方法，通过覆盖来永久清除系统中的数据。
- 区别：这与简单的数据删除不同，因为已删除的数据仍然可以检索。
在本视频中，您了解了数据治理和合规性（它们相辅相成）在数据生命周期中至关重要的原因，以及工具和技术在治理实施框架中所扮演的角色。