Module 02 · Data Science Topics
What is Hadoop?数据科学与大数据架构的演变
1. 大数据处理的变革：从 MapReduce 到 Hadoop
传统方法与 Google 的创新
- 传统方法： 传统的计算和数据处理方式是“将数据带到计算机”，即把数据导入程序进行处理。
- Google 的颠覆（MapReduce 概念）： Larry Page 和 Sergey Brin 提出了一种简单而美丽的方法，改变了这一范式：
- 数据分片与分发： 他们将数据切成小块，并将每块数据复制或三倍复制（replicated or triplicated）。
- 集群计算： 将这些数据块发送到集群中的数千乃至数万台计算机上。
- 代码分发： 将相同的程序发送给集群中的所有这些计算机。
- 并行执行： 每台计算机在其分配到的文件小块上运行程序，并将结果发送回来。
MapReduce 流程
这种处理方法分为两个核心步骤：
- Map（映射） 或 Mapper 过程：即第一个处理过程。
- Reduce（归约） 过程：对返回的结果进行排序，然后将结果重新分配给另一个处理过程。
- 优势： 概念简单，但可以处理各种问题和极大规模的数据集。
- 线性扩展： 这些大数据集群具有线性扩展的特点。服务器数量增加一倍，性能和可处理的数据量也增加一倍，这打破了大型社交媒体公司的瓶颈。
Hadoop 的诞生
- 起源： Yahoo 聘请了 Doug Cutting，他一直在开发 Google 大数据架构的克隆或副本。
- 名称： 这个克隆项目现在被称为 Hadoop。
- 生态影响： Hadoop 已成为一个非常流行的术语。在今天的大数据生态中，有成千上万的公司都涉足其中。
2. 数据科学的跨学科融合：决策科学
传统基础的汇集
数据科学的许多组成部分实际上已经存在了几十年，但它们现在正以新的细微差别汇集在一起：
- 底层基础：
- 概率论与统计学
- 代数、线性代数
- 编程
- 数据库
转向模式发现与机器学习
随着我们拥有了计算能力，可以应用一些新技术，如机器学习（Machine Learning）：
- 新方法： 现在可以处理真正大的数据集，不再需要通过抽样来测试某个假设。相反，可以直接在大型数据集上寻找模式。
- 思维转变： 从假设检验退后一步，转而寻找可能生成假设的模式。
⚠️ 与传统统计学的冲突： 这种转变有时会困扰和激怒一些传统的统计学家，因为他们认为假设应该独立于数据而存在，然后才能对其进行测试。
- 驱动力： 这些机器学习技术是分析一些超大型社交媒体数据集的唯一方法。
“决策科学”（Decision Sciences）
我们将计算机科学、概率论、统计学、数学等传统领域结合在一起，形成了我们现在所称的“决策科学”（Decision Sciences）。
- 斯特恩学院的优势： 斯特恩学院在该领域处于有利地位，因为它是少数拥有真正统计学系（拥有博士级统计学家）、运营管理系和信息系统系的商学院之一。这种广泛的学科范围（从计算机科学家到统计学家和运筹学研究人员）使其能够完美地抓住“决策科学”这一趋势。
- 中心的成立： Foster Provost 教授（受访者所在部门的同事）是 NYU 数据科学中心的首任主任。
3. 领域的动态发展
术语的新生
- “数据科学”和“大数据”都是非常新的术语。七八年前搜索“大数据”几乎查不到什么，随后出现了爆发式的增长（spike）。
- “数据科学”这个术语在五年前可能闻所未闻。
持续的变化与增长
- 领域的演变： 即使是教职员工也仍在努力完全掌握商业分析和数据科学到底是什么，因为它仍在不断地演变、变化和增长。
- 深度学习的加入： 仅仅在过去三年，深度学习（Deep Learning）就被加入了数据科学的行列。
- 神经网络的历史： 神经网络（Neural Networks）已经存在了二三十年，但在 20 年前，由于计算能力的限制，它们能做的非常有限。
- 技术突破： 如今，由于多层神经网络（multi-layer neural networks）等研究（特别是来自多伦多大学的研究）的突破，这项技术正在迅速扩展，并被 Google、Facebook 等众多公司使用。