Module 01 · Overview of Data Science Tools
Categories of Data Science Tools数据科学工具分类
欢迎来到“数据科学工具的类别”课程。观看本视频后，您将能够：
- 列出数据科学家需要执行的各项任务。
- 说明代码资产管理和数据资产管理如何帮助构建模型。
- 描述执行环境和开发环境如何实现模型。
数据科学任务类别
原始数据在变得有用之前，必须经过各种数据科学任务类别，包括：
- 数据管理
- 数据集成与转换
- 数据可视化
- 模型构建
- 模型部署
- 模型监控与评估
要完成这些任务，您需要 数据资产管理、代码资产管理、执行环境 和 开发环境。
1. 数据管理
数据管理是安全、高效、经济高效地收集、持久化和检索数据的过程。
- 数据收集：数据从多种来源收集，例如 Twitter、Flipkart、媒体、传感器等。
- 持久存储：将收集的数据存储在持久存储中，以便在需要时随时可用。
2. 数据集成与转换（ETL）
数据集成与转换是 提取（Extracting）、转换（Transforming）和 加载（Loading）数据的过程，简称“ETL”。
- 数据提取：从多个存储库（例如数据库、数据立方体和平面文件）中提取数据，并将其保存到中央存储库（如数据仓库）。数据仓库主要用于收集和存储海量数据以进行数据分析。
- 数据转换：改变数据的值、结构和格式。例如，可能需要将身高和体重数据转换为公制单位。
- 数据加载：将转换后的数据加载回数据仓库。
3. 数据可视化
数据可视化是数据和信息的图形化表示。
- 您可以利用可视化将数据以图表、绘图、地图、动画等形式呈现。
- 数据可视化能够更有效地向决策者传达数据，是数据科学流程中至关重要的一步。
- 各种形式的数据可视化包括：
- 条形图：比较每个组件的大小。
- 树状图：显示层次结构数据。
- 折线图：绘制一系列随时间变化的数据点。
- 地图图表：按位置显示数据，也可应用于网站等其他“位置”。
4. 模型构建
模型构建是下一步，您将在此训练数据并使用机器学习算法分析模式。
- 系统将“学习”如何自行提供预测或决策。
- 然后，您可以使用此模型对新的、未见过的数据进行预测。
- 例如，可以使用 IBM Watson Machine Learning 服务进行模型构建，它提供了全套工具和服务来构建模型。
5. 模型部署
模型部署是将已开发模型集成到生产环境的过程。
- 在模型部署中，机器学习模型通过 API 提供给第三方应用程序使用。
- 业务用户可以通过这些第三方应用程序访问和与数据交互，从而帮助他们做出基于数据的决策。
- 例如，SPSS Collaboration and Deployment Services 可用于部署由 SPSS 软件工具套件创建的任何类型的资产。
6. 模型监控与评估
模型监控与评估运行持续的质量检查，以确保模型的准确性、公平性和健壮性。
- 模型监控：使用 Fiddler 等工具跟踪生产环境中已部署模型的性能。
- 模型评估：使用评估指标，如 F1 分数、真阳性率 或 平方误差和 来了解模型的性能。
- 一个知名的例子是 IBM Watson OpenScale，它持续监控已部署的机器学习和深度学习模型，以提高预测的准确性和质量。
支持数据科学任务的工具
既然我们已经回顾了数据科学任务类别，下面来看看支持这些任务的一些工具：
代码资产管理 (Code Asset Management)
代码资产管理提供了一个统一视图来管理资产清单。
- 版本控制：在开发模型时，可能需要增量更新、修复错误或改进代码功能，所有这些都需要版本控制。开发人员使用版本控制来跟踪和管理软件项目代码的更改。
- 集中式存储库：团队在处理模型时使用集中式存储库，每个人都可以同时上传、编辑和管理代码文件。
- 协作：允许不同的人共同分享和更新同一个项目。
- GitHub 是一个很好的代码资产管理平台示例，它是基于 Web 的，提供共享、协作和访问控制功能。
数据资产管理 (Data Asset Management, DAM)
数据资产管理，也称为数字资产管理 (DAM)，是对从不同来源收集的重要数据（如图像、视频、文本等）进行组织和管理。
- 作为数据科学家，您希望将所有数据妥善存储和组织在中央位置。
- 您还需要控制谁可以访问、编辑和管理您的数据。
- DAM 在 DAM 平台上执行，该平台支持版本控制和协作。
- DAM 平台还支持对存储数据进行复制、备份和访问权限管理。
开发环境 (Development Environments)
开发环境，也称为集成开发环境或“IDE”，提供了一个工作空间和工具来开发、实现、执行、测试和部署源代码。
- 像 IBM Watson Studio 这样的 IDE 提供了测试和模拟工具来模拟现实世界，以便您可以看到代码部署后的行为。
执行环境 (Execution Environments)
执行环境拥有库来编译源代码以及系统资源来执行和验证代码。
- 云端执行环境不依赖于任何特定的硬件或软件。
- 它们提供诸如 IBM Watson Studio 之类的工具用于数据预处理、模型训练和部署。
集成可视化工具 (Integrated Visual Tools)
诸如 IBM Watson Studio 和 IBM Cognos Dashboard Embedded 之类的完全集成可视化工具涵盖了之前所有的工具组件，可用于开发深度学习和机器学习模型。
总结要点
在本视频中，您学习了数据科学任务类别包括：
- 数据管理
- 数据集成与转换
- 数据可视化
- 模型构建
- 模型部署
- 模型监控与评估
支持数据科学任务的工具有：
- 数据资产管理
- 代码资产管理
- 执行环境
- 开发环境