Coursera 笔记

Module 02 · Data Science Topics

Data Science and Big Data数据科学的崛起与大数据的本质

Coursera ↗

1. 编程能力：数据科学家的基础

受访者观察到，在数据科学领域，几乎每个人都至少拥有一定的编程背景：

  • 背景多样性： 有些人是计算机科学硕士，有些人是来自技术领域的 MBA 学生，每天都在编程。
  • 基本要求： 即使是那些只在多年前上过一门编程课的学生，也至少具备计算思维（think computationally），这被认为是他们最需要的、最重要的能力。

2. 数据科学与商业分析的火热

在过去的四五年里，数据科学和商业分析已成为非常热门的学科。

  • 驱动因素： 新的工具、新的方法，以及传统技术无法存储和处理的大量数据。
  • 企业认知转变（以银行为例）：
    • 三年前，一家大型银行只有一个小团队，有一人尝试搭建一个小的集群来处理大数据。
    • 现在，同一家银行拥有五六个主要的大数据集群，正在将所有的信用卡数据放入其中，并使用各种数据科学技术进行深入分析。

教育趋势：家长的觉醒

  • 课程需求的激增： 某大学的本科《数据处理》 课程，去年有 28 名学生，今年激增到 140 名。
  • 家长影响： 支付高额学费的家长开始意识到趋势，从传统地建议子女从事会计、金融服务或市场营销，转变为鼓励他们多学习 STEM 课程，准备进入数据科学或分析日益重要的领域。

3. 大数据的定义与起源

受访者提出了自己的大数据定义，并追溯了其起源：

  • 个人定义： 大数据是足够大、具有足够的数据量（Volume）和速度（Velocity），以至于无法用传统数据库系统处理的数据。
  • 统计学家的观点： 有些统计学家认为大数据就是无法装进 U 盘的数据。
  • 起源： 大数据始于 Google。当时 Larry Page 和 Sergey Brin 试图解决他们的 PageRank 算法时，需要存储世界上所有的网页，但缺乏相应的技术。因此，他们开发了这种处理方法（现在已被 Hadoop 等技术借鉴和复制），催生了所有这些大型的大数据集群。

大数据的扩展

如今，大数据领域也扩展到了“如何分析”层面：

  • 出现了处理这些极其庞大数据集的新的分析技术和统计技术。
  • 预计未来还会涉及深度学习（deep learning）等先进技术。