Viewpoints: Get into Data Engineering走进数据工程：专业人士的职业发展之路

本视频将听取几位数据专业人士分享他们是如何进入数据工程领域的。

---

案例一：从 DBA 到多技术专家

一位专业人士最初是 IBM Db2 RDBMS 上的 DBA (数据库管理员)，特别喜欢解决 OLTP（在线事务处理）和 OLAP（在线分析处理）数据库的性能问题。

职能扩展与技术探索

• 初期互动：作为 DBA，他有机会与 Web 应用程序开发人员、ETL 开发人员、商业智能用户以及业务用户等多个组织内部团体进行互动。
• 业务驱动转型：随着业务需求的演变，组织需要投资和研究其他非 RDBMS 的工具和流程：
  • 文档存储：投资了 MongoDB。
  • 高可用性：开始探索 Cassandra，以实现 24x7x365 的高可用性。
  • 分析需求：开始探索 Hadoop 作为分析数据库，并设置了独立集群进行概念验证 (POC)。

💡 转型认知：在探索并开始使用所有这些技术之后，“我突然就成了一名数据工程师，不再是 DBA 了。”

---

案例二：从目标明确到跨领域融合

这位专业人士进入数据工程的方式有些与众不同，他认为通常有两种途径：从系统管理转向数据专业，或从开发转向数据专业。

直接进入与跨界优势

• 明确目标：他大学毕业后在 IBM 找到了一份工作，其简历上的目标是成为 DBA。他成功地直接进入了数据专业领域。
• 专业技能形成：在两年内，他认为自己成为了一个称职的 DBA（在此之前是初级 DBA）。
• 技术融合的益处：他指出，技术领域中有些职位通常受益于其他领域的专业知识，数据和 DevOps 就是其中之一。
  • 系统管理经验：了解系统管理的基本原理（如何处理存储、网络时间的影响等）非常有用。
  • 开发/数据科学经验：了解开发人员、数据科学家如何处理数据以及他们对数据的需求，都是进入数据工程的有效领域。

从零开始的建议

• 基础要求：无论是大学毕业还是非大学学历背景，都需要对信息技术有基本的了解。
• 导师指导：找到一位导师来指导方向会使过程容易得多，可以帮助确定重点关注和忽略的领域。
• 资源丰富：当前网络上有大量的资源可以提供帮助，包括在线学位课程（本科和研究生级别）。

---

案例三：实践驱动的自学成才

这位专业人士最初的工作是学生时代的简单数据录入，这激发了他对处理数据及其力量的兴趣。

自学与实践

• 学历局限：尽管拥有计算机工程学位，但单凭这一点并不能让他获得数据工程师的工作。
• 自学成才：当时没有在线课程，他通过购买书籍学习如何使用数据库。
• 实践应用：更重要的是，他应用了所学知识，通过创建数据库应用，并进行一些志愿工作和自由职业来积累经验。
• 实习与在职学习：正是这些实际工作经验帮助他获得了实习机会，之后他主要通过在职学习和偶尔的培训课程掌握新技术。
• 当代学习方式：如今，他主要通过观看 YouTube 视频和参加在线课程来了解最新的数据技术。

---

案例四：教育行业转型与偶然机会

这位专业人士的职业旅程十分有趣。大学毕业后，她在中学的科学和地理领域任教两年，随后在教育非营利组织从事了三年营销和招聘工作。

兴趣转变与学术深造

• 研究生学习：之后她攻读了研究生，学习非营利组织管理和信息系统。正是在研究生院，她对数据产生了兴趣。

数据分析初体验

• 第一份数据全职工作：毕业后，她加入了波士顿的一家教育非营利组织，成为一名 商业智能分析师 (Business Intelligence Analyst)。
• 学习曲线：学习过程虽然陡峭，但在工作了一年半之后，她非常享受这份工作。

意外的职业转折

• 寻求新领域：尽管仍然对教育充满热情，但在非营利组织工作了近七年后，她开始考虑在非营利部门之外尝试不同的事情。
• 投递与拒绝：她开始在教育技术公司寻找机会，曾申请 Coursera 的数据科学家职位，但很快被拒绝。
• 数据工程机会：幸运的是，Coursera 当时也在招聘数据工程职位，他们认为她的背景可能适合。
  • 初期认知：她诚实地表示，当时数据工程对她来说是陌生的，她甚至不清楚数据工程与商业智能分析师、数据科学家之间的区别。
• 抓住机会：尽管如此，她抓住了这个机会，开始了面试流程，并最终获得了这份工作。

🗺️ 新旅程：2018 年秋天，她从波士顿搬到湾区，开始了她在 Coursera 的数据工程之旅。