Module 01 · Extract, Transform, Load (ETL)提取、转换与加载(ETL)
Module Summary: Extract, Transform, Load (ETL)模块总结:提取、转换与加载(ETL)
Congratulations! You have completed this lesson. At this point in the course, you know:
恭喜!您已完成本课程。至此,您已了解:
- ETL is the process of extracting large amounts of data from multiple sources and formats and transforming it into one specific format before loading it into a database or target file.
ETL 是从多个来源和格式中提取大量数据,并将其转换为一种特定格式,然后加载到数据库或目标文件的过程。 - Web scraping is a process that can be used to extract information automatically from a website using the two Python modules “Requests” and “BeautifulSoup”.
网络爬取是一种可以自动从网站提取信息的流程,它使用两个 Python 模块:“Requests”和“BeautifulSoup”。 - Use the xml library to parse XML, and the pandas library to parse CSV and JSON data.
使用 xml 库解析 XML,使用 pandas 库解析 CSV 和 JSON 数据。 - Load a Pandas data frame to an SQL database object using the
to_sql()method.
使用to_sql()方法将 Pandas 数据帧加载到 SQL 数据库对象中。 - Use the Pandas
read_sql()method to query a database table. This function returns a Pandas data frame with the output to the query.
使用 Pandas 的read_sql()方法查询数据库表。此函数返回一个 Pandas 数据帧,其中包含查询的输出。 - Processed data can be stored as a table in a database and retrieved from it using queries, with the Pandas and SQLite libraries.
处理后的数据可以作为表存储在数据库中,并使用 Pandas 和 SQLite 库通过查询从数据库中检索。