Coursera 笔记

Module 01 · Extract, Transform, Load (ETL)提取、转换与加载(ETL)

Module Summary: Extract, Transform, Load (ETL)模块总结:提取、转换与加载(ETL)

Coursera ↗

Congratulations! You have completed this lesson. At this point in the course, you know:
恭喜!您已完成本课程。至此,您已了解:

  • ETL is the process of extracting large amounts of data from multiple sources and formats and transforming it into one specific format before loading it into a database or target file. 
    ETL 是从多个来源和格式中提取大量数据,并将其转换为一种特定格式,然后加载到数据库或目标文件的过程。
  • Web scraping is a process that can be used to extract information automatically from a website using the two Python modules “Requests” and “BeautifulSoup”.
    网络爬取是一种可以自动从网站提取信息的流程,它使用两个 Python 模块:“Requests”和“BeautifulSoup”。
  • Use the xml library to parse XML, and the pandas library to parse CSV and JSON data.
    使用 xml 库解析 XML,使用 pandas 库解析 CSV 和 JSON 数据。
  • Load a Pandas data frame to an SQL database object using the to_sql() method.
    使用 to_sql() 方法将 Pandas 数据帧加载到 SQL 数据库对象中。
  • Use the Pandas read_sql() method to query a database table. This function returns a Pandas data frame with the output to the query.
    使用 Pandas 的 read_sql() 方法查询数据库表。此函数返回一个 Pandas 数据帧,其中包含查询的输出。
  • Processed data can be stored as a table in a database and retrieved from it using queries, with the Pandas and SQLite libraries.
    处理后的数据可以作为表存储在数据库中,并使用 Pandas 和 SQLite 库通过查询从数据库中检索。