Commercial Tools for Data Science商业数据科学工具

欢迎观看《商业数据科学工具》。观看本视频后，您将能够：

• 列出商业数据管理工具。
• 列出商业数据集成和转换工具。
• 列出数据可视化工具。
• 列出用于模型构建、部署、监控和评估的工具。
• 列出用于代码资产管理、数据资产管理、开发环境和完全集成可视化的工具。

---

工具类别概述

让我们回顾一下不同工具类别的概览。

数据管理工具

• 行业标准： 企业的大部分相关数据存储在以下数据库中：
  • Oracle Database
  • Microsoft SQL Server
  • IBM Db2
• 重要性： 尽管开源数据库日益突出，但这三款数据管理产品仍被认为是行业标准，并将存在一段时间。
• 商业支持： 由于数据是每个组织的核心，商业支持的可用性起着关键作用。商业支持直接由软件供应商、有影响力的合作伙伴和支持网络提供。

数据集成与转换工具 (ETL)

商业数据集成工具包括**提取、转换和加载（ETL）**工具。

📌 连接器： 这些工具自带连接器，可连接到大多数商业和开源目标信息系统。

数据可视化工具

在商业环境中，数据可视化使用商业智能（BI）工具。

• BI 工具重点： 重点在于创建可视化报告和实时仪表板。
• 主要代表：
  • Tableau
  • Microsoft Power BI
  • IBM Cognos Analytics
• 针对数据科学家的可视化： 另一种可视化类型是针对数据科学家而非最终用户的。
  • 示例：可视化可以显示表格中不同列之间的关系。
  • 功能包含： 这种功能包含在 Watson Studio Desktop 中。

模型工具：构建与部署

如果您想使用商业工具构建机器学习模型，应使用数据挖掘产品。

• 主要产品：
  • SPSS Modeler
  • SAS Enterprise Miner
• Watson Studio 中的可用性： 基于云版本，SPSS Modeler 也可在 Watson Studio Desktop 中使用。

模型部署 (Model Deployment)

• 紧密集成： 商业软件中的模型部署与模型构建过程紧密集成。
• 部署示例： SPSS Collaboration and Deployment Services 用于部署 SPSS 软件工具套件创建的任何类型的资产。其他供应商也有类似做法。
• 开放格式导出： 商业软件可以以开放格式导出模型。
  • 例如，SPSS Modeler 支持将模型导出为 PMML (Predictive Model Markup Language) 格式，许多其他商业和开源软件包都可以读取该格式。

模型监控与资产管理

模型监控 (Model Monitoring)

• 现状： 模型监控是一个非常新的领域。
• 工具可用性： 目前缺乏相关的商业工具。因此，开源是首选。

代码资产管理 (Code Asset Management)

• 现状： 对于代码资产管理而言，采用 Git 和 GitHub 的开源解决方案是事实上的标准。

数据资产管理 (Data Asset Management)

数据资产管理（通常称为数据治理或数据血缘）是企业级数据科学的关键组成部分。

• 核心要求： 数据必须进行版本控制并用元数据进行注释。
• 供应商工具： 包括 Informatica Enterprise Data Governance 和 IBM 在内的供应商为这些特定任务提供工具。
• IBM Information Governance Catalog 的功能：
  • 数据字典 (Data Dictionary)： 便于发现数据资产。
  • 数据负责人分配： 每个数据资产都分配给数据管理员或数据所有者，他们负责该数据资产并可供联系。
  • 数据血缘 (Data Lineage)： 允许追溯创建数据资产的转换步骤。数据血缘还包括对实际源数据的引用。
  • 规则和政策： 可以添加规则和政策，以反映数据隐私和保留的复杂监管和业务要求。

完全集成开发环境

• Watson Studio：
  • 这是一个完全集成的数据科学家开发环境。
  • 大多数人通过云使用它，也有可用的桌面版本。
  • Watson Studio Desktop 将 Jupyter Notebooks 与图形工具相结合，以最大化数据科学家的性能。
• Watson Studio + Watson Open Scale：
  • 这是一个完全集成的工具，涵盖了数据科学生命周期中涉及的所有先前讨论的任务。
  • 部署：它们可以部署在本地数据中心、Kubernetes / RedHat OpenShift 之上。
• H2O Driverless AI：
  • 另一个完全集成的商业工具示例。
  • 覆盖范围： 它涵盖了完整的数据科学生命周期。

---

总结要点

在本视频中，您了解到：

• 商业工具支持数据科学中最常见的任务。
• 数据管理工具包括：Oracle Database, Microsoft SQL Server, 和 IBM Db2。
• 数据集成工具主要由 Informatica PowerCenter 和 IBM InfoSphere DataStage 提供。
  • 其次是 SAP, Oracle, SAS, Talend, Microsoft 的产品，以及 Watson Studio Desktop。
• 模型构建工具是 SPSS Modeler 和 SAS Enterprise Miner。
  • SPSS Modeler 也可在 Watson Studio Desktop 中使用。
• Informatica 和 IBM 提供数据资产管理工具。
• Watson Studio 结合 Watson Open Scale 是一个涵盖数据科学生命周期的完全集成工具。