Module 04 · Data literacy for Data Science (Optional)
Data Sources常见的数据来源与获取方式
数据源的动态性和多样性是当今数据科学的核心。本总结概述了组织用于分析的六种常见数据来源和获取方式。
1. 关系数据库 (Relational Databases)
- 描述： 组织用于支持日常业务活动、客户交易、人力资源等内部应用的系统，以结构化方式存储数据。
- 存储方式： 结构化。数据存储在数据库和数据仓库中。
- 示例： SQL Server, Oracle, MySQL, IBM DB2。
- 应用： 零售交易数据用于分析不同地区的销售情况；CRM 系统数据用于销售预测。
2. Flat Files (平面文件) 和 XML 数据集
这些通常用于共享公共或购买的私有数据集（如政府的人口统计数据、天气数据、销售点数据）。
- 平面文件 (Flat Files) / CSV：
- 描述： 以纯文本格式存储数据，每行一个记录（行），值之间通过分隔符（如逗号、分号、制表符）分隔。
- 特点： 数据映射到单个表（与多表的数据库不同）。CSV 是最常见的格式。
- 电子表格文件 (Spreadsheet Files)：
- 描述： 一种特殊的平面文件，以表格形式组织数据（行和列），但可以包含多个工作表。
- 特点： 可以包含格式、公式等附加信息。
- 示例： Microsoft Excel (.XLS/.XLSX), Google Sheets。
- XML 文件：
- 描述： 数据值通过标签（tags）进行标识或标记。
- 特点： 支持比平面文件更复杂的层次结构数据结构。
- 示例： 在线调查数据、银行对账单。
3. API 和 Web Services (应用程序接口和网络服务)
- 描述： 数据提供商和网站提供的接口，允许多个用户或应用程序与其交互，获取数据进行处理和分析。
- 交互方式： 监听网络或应用请求，以纯文本、XML、HTML、JSON 或媒体文件的形式返回数据。
- 应用示例：
- 社交媒体 API： Twitter 和 Facebook API 用于获取推文和帖子数据，进行意见挖掘或情感分析。
- 金融市场 API： 获取股票、商品价格、每股收益等，用于交易和分析。
- 数据查找和验证 API： 用于清洗和准备数据，例如检查邮政编码对应的城市或州。
4. Web Scraping (网络爬取)
- 描述： 用于从非结构化来源中提取相关数据的过程，也称为屏幕抓取或网络数据提取。
- 工作方式： 根据定义的参数从网页下载特定数据（文本、联系信息、图像、产品细节等）。
- 应用示例：
- 从零售商处收集产品细节，用于价格比较。
- 从公共数据源生成销售线索。
- 收集机器学习模型的训练和测试数据集。
- 常用工具： BeautifulSoup, Scrapy, Pandas, Selenium。
5. Data Streams and Feeds (数据流与数据订阅)
数据流是不断从各种来源流入的恒定数据流。
- 数据流 (Data Streams)：
- 描述： 来自传感器、IoT 设备、GPS 数据、计算机程序、网站和社交媒体帖子等的持续数据。
- 特点： 数据通常带有时间戳（timestamped）和地理标签（geo-tagged）。
- 应用示例： 股票行情、零售交易流（用于预测需求）、监控视频流（用于威胁检测）、社交媒体提要（用于情感分析）。
- 处理工具： Apache Kafka, Apache Spark Streaming, Apache Storm。
- RSS Feeds (Really Simple Syndication)：
- 描述： 另一种流行的数据源，通常用于捕获在线论坛和新闻网站等持续更新的数据。
- 机制： Feed Reader 将 RSS 文本文件转换为更新的数据流，流式传输给用户设备。