Cloud Based Tools for Data Science云端数据科学工具

欢迎观看《基于云的数据科学工具》。观看本视频后，您将能够：

• 描述 商业云工具如何支持数据科学任务。
• 解释 集成如何提供对多个任务使用相同工具的能力。

---

云工具类别概览

云产品属于较新的类别，它们遵循将多项任务集成到工具中的趋势。

📌 集成： 这种集成适用于图表中标记为绿色的任务。

平台即服务 (PaaS) 与软件即服务 (SaaS)

由于这些工具引入了在计算集群中进行大规模数据科学工作流执行的组件，我们将标题改为“平台”，并加入了“Platform”一词。

💡 交付模式区别： H2O Driverless AI 的交付模式应与 PaaS/SaaS（如 Watson Studio、OpenScale 和 Azure Machine Learning）区分开来，因为它不提供云提供商负责的运营和维护。

数据管理 (SaaS)

• 现有工具的 SaaS 版本： 除少数例外，现有开源和商业工具的 **SaaS（软件即服务）**版本已经存在。
• 云提供商职责： 云提供商在云中为您运营该工具，例如：
  • 备份您的数据。
  • 配置和安装更新。
• 专有工具示例： 某些专有工具仅由单个云提供商提供。
  • Amazon Web Services DynamoDB： 一个 NoSQL 数据库，允许以键值或文档存储格式存储和检索数据。最突出的文档数据结构是 JSON。
• 数据库即服务 (DBaaS) 示例：
  • Cloudant： 一种 DBaaS 产品，其后端基于开源 Apache CouchDB。
    • 优势： 复杂的运维任务（如更新、备份、恢复和扩展）由云提供商完成。
    • 兼容性： Cloudant 服务产品与 CouchDB 兼容，因此应用程序无需更改即可迁移到另一个 CouchDB 服务器。
  • IBM Db2 As A Service： 将商业数据库作为 SaaS 产品在云中提供，从而减轻了用户的运维任务。

数据集成工具

商业数据集成工具包括 ETL（提取、转换、加载）工具和 ELT（提取、加载、转换）工具。

• ELT 模式： 转换步骤不再由数据集成团队完成，而是推向数据科学家或数据工程师的领域。
• 广泛使用的云工具：
  • Informatica Cloud Data Integration
  • IBM 的 Data Refinery
    • Data Refinery 是 IBM Watson Studio 的一部分。
    • 它允许在类似电子表格的用户界面中，将大量原始数据转换为可消费的高质量信息。

数据可视化工具

云数据可视化工具的市场巨大，每个主要的云供应商都拥有自己的产品。

• 新兴公司示例： Datameer 是一家提供云端数据可视化工具的较小公司。
• 传统商业套件： IBM 将其著名的 Cognos 商业智能套件作为云解决方案提供。
• 集成可视化： IBM Data Refinery 也在 Watson Studio 中提供数据探索和可视化功能。

🎨 可视化示例 (在 Watson Studio 中)： 各种可视化图表用于更好地理解数据：

• 3D 柱状图： 可视化垂直维度上的目标值，该目标值取决于水平维度上的另外两个值。可以使用颜色来可视化第三个维度。
• 分层边缘捆绑图 (Hierarchical Edge Bundling)： 描绘实体之间的关联和从属关系。
• 经典柱状图： 在足够的情况下可以胜任。
• 带热力图的 2D 散点图： 在 Y 轴上显示两个相关数据字段，并使用不同的颜色强度。
• 树状图 (Tree Map)： 显示集合内子集的分布。
• 著名的饼图： 以非层次化的方式实现相同目的。
• 词云 (Word Cloud)： 突出文档语料库中的重要术语。

模型工具：构建、部署与监控

模型构建 (Model Building)

• 即服务 (As a Service)： 模型构建可以通过服务来完成。
  • Watson Machine Learning： 可以使用各种开源库来训练和构建模型。
  • Google AI Platform Training： Google 云上的类似服务。
  • 通用性： 每个云提供商都有针对此任务的解决方案。

模型部署 (Model Deployment)

• 紧密集成： 商业软件中的模型部署通常与模型构建过程紧密集成。
• 示例： SPSS Collaboration and Deployment Services 可用于部署 SPSS 软件工具套件创建的任何资产。其他供应商也有类似做法。
• 开放格式导出： 商业软件可以以开放格式导出模型。
  • 例如，SPSS Modeler 支持将模型导出为 PMML 格式，其他商业和开源软件包可以读取该格式。
• REST 接口部署： Watson Machine Learning 部署模型，并通过 REST 接口使其可供消费者使用。

模型监控 (Model Monitoring)

• Amazon SageMaker Model Monitor： 一个云工具的例子，用于持续监控已部署的机器学习和深度学习模型。每个主要的云提供商都有类似的工具。
• Watson OpenScale： 另一个用于模型监控的工具。

🟢 完全集成覆盖： 图中所有标记为绿色的任务都可以使用 Watson Studio 和 OpenScale 完成。

---

总结要点

在本视频中，您了解到：

• Watson Studio 和 Watson OpenScale 涵盖了所有数据科学、机器学习和 AI 任务的完整开发生命周期。
• 在数据管理方面，除少数例外，现有的开源和商业工具都有 **SaaS（软件即服务）**版本。
• 两个广泛使用的商业数据集成工具是 Informatica Cloud Data Integration 和 IBM 的 Data Refinery。
• 云端数据可视化工具的例子有 Datameer 和 IBM 的 Cognos 商业智能套件。
• 模型构建可以通过 Watson Machine Learning 等服务来完成。
• Amazon SageMaker Model Monitor 是一个云工具的例子，用于持续监控已部署的机器学习和深度学习模型。