Module 01 · What is Data Engineering?什么是数据工程？

Key Players in the Data Ecosystem数据生态系统中的关键角色

领导者： 如今，那些利用数据发掘机遇并应用这些知识使自己脱颖而出的组织，正在引领未来。
应用示例：
- 在金融交易中寻找模式以检测欺诈。
- 使用推荐引擎来提高转化率。
- 挖掘社交媒体帖子以了解客户心声。
- 品牌根据客户行为分析来个性化他们的产品。
核心认知： 商业领袖意识到数据是获得竞争优势的关键。

为了从数据中获取价值，组织需要大量的技能组合和扮演不同角色的专业人员。本视频将介绍以下角色：数据工程师、数据分析师、数据科学家、业务分析师和 商业智能 (BI) 分析师，看他们如何帮助组织利用海量数据并将其转化为可操作的洞察。

一切都始于数据工程师。

职责	技能要求
工作内容	开发和维护数据架构，使数据可用于业务运营和分析。
关键任务	• 在数据生态系统中，从不同来源提取、集成和组织数据。 • 清理、转换和准备数据。 • 在数据存储库中设计、存储和管理数据。
核心贡献	确保数据能够以各种业务应用程序以及数据分析师和数据科学家等利益相关者可以利用的格式和系统进行访问。
必需知识	• 良好的编程知识。 • 扎实的系统和技术架构知识。 • 对关系数据库和非关系数据存储的深入理解。

简而言之，数据分析师将数据和数字转化为通俗易懂的语言，以便组织能够做出决策。

职责	技能要求
关键任务	• 检查和清理数据以获取洞察。 • 识别相关性、发现模式，并应用统计方法分析和挖掘数据。 • 可视化数据以解释和展示数据分析结果。
解决问题示例	• “我们网站搜索功能的用户搜索体验总体上是好是坏？” • “公众对我们品牌重塑计划的普遍看法如何？” • “某一种产品和另一种产品的销量之间是否存在关联？”
必需知识	• 熟练使用电子表格。 • 掌握查询编写和使用统计工具创建图表和仪表板。 • 现代数据分析师还需要一定的编程技能。 • 强大的分析和故事叙述能力。

数据科学家在该生态系统中的作用是：

职责	技能要求
工作内容	分析数据以获取可操作的洞察，并构建利用历史数据训练的机器学习或深度学习模型，以创建预测模型。
解决问题示例	• “我下个月可能会获得多少新的社交媒体关注者？” • “下个季度，我可能会流失给竞争对手的客户比例是多少？” • “这笔金融交易对这位客户来说是否异常？”
必需知识	• 数学和统计学知识。 • 对编程语言、数据库和构建数据模型有相当的了解。 • 还需要具备领域知识。

角色	重点关注点	核心职责
业务分析师 (BA)	关注业务内部的影响。	利用数据分析师和数据科学家的工作成果，审视对自身业务可能的潜在影响以及他们需要采取或推荐的行动。
BI 分析师	关注市场力量和外部影响。	通过组织和监控不同业务职能的数据，并探索这些数据以提取改善业务绩效的洞察和行动方案，提供商业智能解决方案。

以简单的术语总结：

角色/职能	核心作用
数据工程	将原始数据转化为可用数据。
数据分析	使用可用数据生成洞察。
数据科学	利用数据分析和数据工程，使用历史数据来预测未来。
业务/BI 分析	使用这些洞察和预测来推动有利于业务发展和增长的决策。

📌 值得注意的是，数据专业人员从一个数据角色开始职业生涯，然后通过补充技能过渡到数据生态系统中的另一个角色，这种情况并不罕见。