Coursera 笔记

Module 02 · Using Relational Databases

Loading Data数据加载

Coursera ↗

欢迎学习数据加载的相关知识。通过本指南,您将能够掌握何时使用数据加载功能、识别支持的数据源类型,并熟悉在 Db2 Web 控制台中加载数据的具体流程。


为什么需要“加载数据”?

在管理数据库系统时,向表中添加数据通常有两种方式:

  1. SQL INSERT 语句:
    • 适用场景: 仅增加少量行,或者在开发和测试数据库系统阶段。
    • 局限性: 当需要处理成百上千行数据时,使用该方法既不现实也不高效。
  2. 直接加载 (Direct Loading):
    • 优势: 大多数关系型数据库管理系统 (RDBMS) 都提供此类实用程序,能够以快速、高效且可扩展的方式直接将大量数据导入表中。

核心观点: 面对海量数据时,专用加载工具在速度和效率上远超重复执行的 INSERT 语句。


数据源与格式支持

数据可能来源于各种不同的系统和格式,Db2 Web 控制台支持以下来源:

数据源类型 具体描述
本地文件 存储在您个人计算机上的定界文本文件(如 CSV)。
Amazon S3 来自 Amazon Web Services (AWS) 的对象存储服务。
IBM Cloud Object Storage 来自 IBM 的云对象存储服务(简称 COS)。
定制化应用输出 由特定应用程序生成的对象数据输出或导出文件。

Db2 Web 控制台加载数据的四个步骤

要在 Web 控制台中启动此过程,请打开 “三横杠菜单”,在 “加载 (Load)” 部分点击 “加载数据 (Load Data)”。随后需遵循以下四个核心步骤:

1 指定源 (Source)

  • 操作: 选择现有数据所在的存储位置。
  • 身份验证: 输入该存储类型所需的验证信息。
    • 示例: 对于 IBM Cloud Object Storage,需提供 COS 身份验证端点 (Endpoint)、访问密钥 (Access Key) 和私密访问密钥 (Secret Access Key)。
    • 示例: 对于本地 CSV 文件,只需选择要上传的文件即可。

2 选择目标 (Target)

  • 操作: 选择数据存放的目标模式 (Schema) 和目标表。
  • 模式选择:
    • 追加 (Append):将新数据添加到现有表的末尾。
    • 覆盖 (Overwrite):用新数据替换表中原有数据。

    ⚠️ 重要警告: 如果选择“覆盖”选项,即使加载过程因某种原因失败,原表中的所有现有数据也将丢失且无法恢复。

  • 新建表: 您也可以点击“新建表 (New Table)”,根据源数据的格式自动定义列的数据类型并生成新表。

3 定义配置 (Define)

  • 在此阶段,您需要配置文本文件的具体属性:
    • 字符编码 (Character Encoding)。
    • 定界符 (Delimiter)。
    • 首行标题:确认第一行是否为列标题。
    • 日期与时间格式。

4 最终确定 (Finalize)

  • 预览与检查: 在开始执行前,检查所有配置项是否正确。
  • 执行与监控: 开始加载后,控制台会实时显示执行状态。
  • 反馈: 加载完成后,系统会展示状态报告,并列出任何产生的错误 (Errors) 或警告 (Warnings)。

总结

  • 高效性: 数据加载比执行多条 INSERT 语句更快速、更高效且更具可扩展性。
  • 多样性: 支持从定界文本文件、AWS S3 或 IBM Cloud Object Storage 等多种来源获取数据。
  • 便捷性: Db2 Web 控制台提供了一个简单易用的界面,极大简化了复杂的大规模数据导入任务。