Module 01 · What is Data Engineering?什么是数据工程？

Specializations in Data Engineering数据工程生态系统中的专业化角色

欢迎观看本视频，了解数据工程生态系统中各类专业人士的专业化或具体角色。

在本视频中，您将：

现代数据环境广阔而复杂，由各种技能娴熟的专业人员驱动。尽管他们有着确保高效、可靠数据管理的共同目标，但每个角色都肩负着独特的职责。本视频深入探讨了数据仓库工程师、数据架构师、数据经理和数据库管理员的职责、区别、相互依存关系和重要性。

职责焦点	关键任务
数据仓库的构建与维护	设计、构建和维护数据仓库，用于存储和分析大型数据集，以支持商业智能 (BI) 和报告目的。
ETL 流程	开发提取、转换、加载 (ETL) 流程，确保高效的数据集成和管理。
角色扩展	随着数据架构发展包含大数据系统，该角色也扩展到包括数据湖的实施（用于非结构化数据），使组织能够存储和处理多样化数据类型，以支持高级分析和机器学习应用。
⚠️ 注意	此处概述的职责更贴近 ETL 开发人员的角色，而非广义的数据仓库工程师。

职责焦点	关键任务
整体架构设计	设计组织数据管理系统的整体架构，涵盖数据仓库、大数据和分析平台。
策略制定	制定数据集成、治理和安全策略，同时确保系统的可扩展性和高性能。
优化与安全	• 建立模式 (Schemas)、索引方法和分区策略以优化数据检索。 • 建模数据关系、设计高可用性解决方案，并制定灾难恢复措施以保护关键信息。
未来规划	规划未来的增长和技术进步，确保系统随时间推移保持适应性。

职责焦点	关键任务
治理与策略	负责监督组织数据的治理和战略，确保数据质量、合规性和可访问性符合业务和监管标准。
治理框架	制定数据治理框架，强制遵守既定标准，并定义访问控制策略。
文化与协作	促进跨部门协作，使数据使用与组织目标保持一致，并培养数据素养文化。

职责焦点	关键任务
数据库平稳运行	确保数据库的平稳运行，重点关注安全、可用性和最佳性能。
维护与监控	• 进行例行备份、优化性能和管理补丁以解决安全问题。 • 积极监控数据库活动，以识别和解决（如查询缓慢或未经授权访问等）问题。
安全与合规	实施加密协议并维护审计日志，以履行合规要求。

通过一个医院网络的例子，进一步探索每个专业角色的独特之处：

角色	关键贡献
数据仓库工程师	设计并维护数据仓库，确保高效存储和检索来自电子健康记录 (EHR) 和实验室系统等来源的患者信息。开发 ETL 流程，将数据转换并加载为结构化格式，以实现安全高效的分析和报告访问。
数据架构师	开发可扩展的结构来存储数百万份患者记录，促进快速检索和授权用户的安全访问。设计用于快速搜索病史和处方数据的索引策略，同时规划未来系统与新兴技术的整合与增长。
数据经理	负责确保遵守医疗保健法规。建立访问策略，监督数据质量保证，并与医学研究人员合作，推动数据驱动的临床实践。确保 IT 运营与组织的临床和运营目标保持一致。
数据库管理员	确保 EHR 系统的不间断运行，进行定期备份，并解决性能瓶颈。监督用户访问以保护敏感患者信息，并实施灾难恢复协议以防止数据丢失。

下表清晰比较了这四个关键数据相关专业职位的角色和职责：

方面	数据仓库工程师	数据架构师	数据经理	数据库管理员 (DBA)
关注点	设计和维护数据仓库，确保高效的数据管道，实现分析和报告的无缝集成。	设计整体数据架构（包括数据仓库、大数据系统和分析平台），以确保可扩展性和效率。	强调策略和治理，以使数据与业务目标保持一致。	确保运营管理，侧重于可靠性和安全性。
关键交付成果	ETL 管道、数据转换流程、数据仓库的设计和部署。	支持结构化和非结构化数据的可扩展数据管理解决方案设计。	政策、标准和合规框架的制定。	可靠、安全的数据库操作。
常用工具	Apache Kafka、Spark、云数据仓库解决方案。	ERD 工具、MySQL、MongoDB、云数据平台。	数据治理平台。	SQL、数据库监控工具。
协作对象	数据架构师、DBA、BI 分析师。	工程师、DBA、业务领导者。	业务和技术团队。	工程师、架构师。
重要性	确保数据结构正确，可用于 BI 和分析。	构建可扩展、高效且适应业务需求发展的数据生态系统。	使数据策略与业务目标保持一致。	维护数据的可靠性和安全性。

尽管这些角色的职责各不相同，但这些专业人员经常协作：

在本视频中，您学习了：

在医院环境中：

数据生态系统中的每个角色都发挥着至关重要的作用，确保数据得到高效管理、易于访问且安全。通过理解这些区别，您可以选择一个能让您在数据驱动时代蓬勃发展的角色。祝您成功！