Module 01 · What Is Big Data?
Open Source and Big Data开源与大数据
欢迎观看本视频！通过本视频的学习，您将能够：
- 解释开源在大数据中的作用。
- 描述用于协调开源的相关平台。
- 描述最流行的开源框架。
什么是开源软件？
开源软件是指源代码完全公开、免费的软件。用户不仅可以免费使用可执行版本的代码，还可以查看、使用和重用源代码中的每一行。
然而，只有当一个项目采纳 开放治理模式 后，才能称其为真正的开源项目。这意味着任何来自不同组织的贡献者都可以提出对代码的更改建议，项目的整体方向可以更好地服务于社区的需求。
需要注意的是，并非所有开源软件都是相同的。软件附带的许可证类型决定了您可以如何使用它。因此，在使用任何开源软件之前，了解其许可证类型并明确相关权限是非常重要的。
开源模型与大数据
开源项目通常是庞大的工程。虽然很多项目起初由一个组织启动，但真正的开源项目超越了单一组织的努力，成为所有现代大数据基础设施的基石。
1.Linux内核与开源的成功
例如，Linux内核 是最具代表性的开源项目之一。当 Linus Torvalds 最初将该内核作为开源项目进行开发时，操作系统领域有许多玩家，并且许多公司仅提供专有代码版本。那时尚不清楚谁会最终成为操作系统的标准。
然而，近30年后，Linux 成为了全球所有服务器的标准，无论硬件、软件或服务提供商如何。这一成功的背后正是开源项目的生生不息，超越了任何单一公司的利益。
2.开源开发模型
开源开发模型就像政府中的民主制度一样，是一种透明且服务于参与者意愿的方式。尽管开源可能看起来是一个令人惊讶的选择，但事实证明，它已反复证明是最具盈利性的解决方案。
开源贡献与治理
在大多数开源项目中，通常有明确的代码贡献流程，并设有不同的角色和责任，包括 提交者（Committer）、贡献者（Contributor）、用户（User）以及用户群体（User Group）。通常，提交者有权限直接修改代码，而贡献者则需要提交代码供提交者审查。
大多数开源项目都属于主要的开源基金会，并遵循类似的治理流程。这种 开源治理 确保了项目的透明性与民主性。
大数据与开源：Hadoop 生态系统
大数据的最大组成部分无疑是 Hadoop 项目，其包括以下三个主要组件：
- MapReduce：一个允许代码在 Hadoop 集群上按规模运行的框架。虽然 MapReduce 仍在使用，但现代的 Apache Spark 等大数据计算框架更为流行。
- Hadoop 文件系统（HDFS）：用于存储和管理大数据文件。它处理大型分布式数据集的各种问题，包括 弹性 和 分区。目前，全球约 70% 的大数据存储在 HDFS 中。
- YARN（资源管理器）：Hadoop 自带的资源管理器，许多大数据应用（如 HIVE 和 Spark）使用 YARN 作为默认的资源管理器。尽管如此，像 Kubernetes 等基于容器的资源管理器正在逐渐成为新的标准。
与 Hadoop 紧密集成的系统
- Apache Hive 和 Apache Spark 等框架支持在 Hadoop 系统上进行大量的 ETL（提取、转换、加载）和计算任务。
- Apache HBase 是一个大型 NoSQL 数据存储，它通常与 Hadoop 集群共同工作，但可以独立于 Hadoop 存储和计算资源。
- Hortonworks Data Platform（HDP） 提供了一套已经配置好、能够协同工作的开源大数据工具，包括 Hadoop、Spark、Hive、HBase 等。
结语
通过本视频，您学到了以下内容：
- 开源 在大数据领域起着至关重要的作用，开源项目是免费的并且完全透明。
- Hadoop 项目 是大数据的最大组成部分，包含 MapReduce、HDFS 和 YARN。
- 大数据领域的开源工具包括 Apache Hive 和 Apache Spark，它们在大数据的存储和计算中发挥着重要作用。
开源驱动着现代大数据的技术架构，为我们提供了强大的工具和框架来处理和分析大数据。