Lesson Summary: What Do Data Scientists Do?数据科学家的世界：创新、探索与洞察

欢迎来到一个数据不仅是数字，更是创新、发现和无限可能性的领域。本总结回顾了数据科学家的核心工作内容、所需技能、教育基础和使用的数据类型。

---

1. 数据科学家的核心工作与案例

数据科学家主要通过调查和寻找各种问题的解释来解决现实世界的挑战。

• 公共交通投诉分析： Murtaza Haider 博士通过深入调查，发现多伦多五十万份公共交通投诉与意外的恶劣天气事件之间存在关联。
• 环境挑战预测： 数据科学家利用数据和人工神经网络（Artificial Neural Networks, ANN）来预测藻华（algae blooms），以防止水中毒性上升，从而协助水处理公司保护生态系统。
• 简化复杂问题： 斯特恩商学院的 Norman White 教授构建了推荐引擎，通过一个简洁的解决方案简化了跨部门的复杂问题。这强调了数据科学的本质：用创新方案解决现实世界的问题。

---

2. 教育基础与所需技能

教育是培养未来数据科学家所需技能的基石。

关键学科基础

• Vincent Granville 博士列出，成为数据科学家所需的教育背景包括：代数（algebra）、微积分（calculus）、概率论与统计学（probability and statistics）。
• 区别于统计学家： 数据科学家使用统计学，但不只是统计学家。他们大量使用统计模型，例如统计回归（Statistical Regression）。

技术工具与平台

• Norman White 教授的教学内容： 课程使用 Python notebooks，涵盖 Unix、Linux 基础、关系数据库（relational databases）以及 Pandas 等强大工具。
• 数据模型： 数据科学家利用模型揭示变量间的关系。例如，回归分析展示了两个变量之间可能的关系，如行驶距离与耗油量之间的关系。
• 机器学习： 他们还利用机器学习算法，如最近邻算法（Nearest Neighbor）。

大数据与工具的演变

• “大数据”这个术语应谨慎使用，因为其概念随着创新不断重塑。
• Hadoop 等工具和软件进步打破了传统限制，开创了新的可能性。
• Patel 博士的定义不局限于处理任意大小的数据集或使用特定工具，而是涵盖了具有各种学术背景和培训的个体。

---

3. 数据类型、格式与核心特质

数据来源与格式

数据科学家处理的数据来源于广泛的来源，其形式多样：

• 数据类型： 有时是视频、音频，以及经常出现的非格式化文本。
• 结构： 文本数据可以是结构化的（如带行和列的表格），也可以是非结构化的（如电子邮件或日志）。
• 文件格式： 他们处理各种格式的数据，例如：定界文本文件、电子表格、XML、PDFs 以及 JSON（JavaScript Object Notation）。

卓越数据科学家的特质

• 新闻集团（News Corp）的首席数据科学家 Rachel Schutt 认为，使数据科学家真正出色的答案在于好奇心。
• 一位成功的数据科学家是计算机科学家、软件工程师和统计学家的融合体。
• 他们的能力在于将非结构化的解决方案转化为结构化的洞察。

数据科学不仅仅是一种职业，它更是一场探索、创新和讲故事的旅程。数据科学家凭借技术、好奇心和决心，在这个广阔的数据世界中航行，以揭示非凡。