数据采集与处理

高职大二第一学期

先修课程：Python基础

课程大纲

课程介绍

《数据采集与处理》是商务数据分析与应用专业的核心课程，旨在培养学生掌握数据采集的方法和数据预处理技术， 为数据分析做好准备。课程内容包括网络爬虫技术、API数据获取、数据清洗、数据转换、数据规约等核心概念和技术。

课程目标

  • 掌握数据采集的基本概念和方法
  • 熟练使用Python进行网络爬虫开发
  • 学会通过API获取数据
  • 掌握数据预处理的核心技术
  • 能够处理和转换不同格式的数据
  • 为后续的数据分析课程做好准备

课程内容

第1章 数据采集概述

  • 1.1 数据采集的概念和重要性
  • 1.2 数据采集的方法和技术
  • 1.3 数据采集的伦理和法律问题
  • 1.4 数据采集的工具和平台

第2章 网络爬虫基础

  • 2.1 HTTP协议基础
  • 2.2 网页结构分析
  • 2.3 爬虫的工作原理
  • 2.4 爬虫的开发流程

第3章 Python爬虫开发

  • 3.1 Requests库的使用
  • 3.2 BeautifulSoup库的使用
  • 3.3 Scrapy框架的使用
  • 3.4 动态网页数据采集
  • 3.5 爬虫反爬策略

第4章 API数据获取

  • 4.1 API的基本概念
  • 4.2 RESTful API的使用
  • 4.3 API认证和授权
  • 4.4 API数据格式（JSON、XML）
  • 4.5 第三方API的调用

第5章 数据预处理

  • 5.1 数据预处理的重要性
  • 5.2 数据清洗技术
  • 5.3 数据集成方法
  • 5.4 数据变换技术
  • 5.5 数据规约方法

第6章 数据格式处理

  • 6.1 CSV文件处理
  • 6.2 Excel文件处理
  • 6.3 JSON文件处理
  • 6.4 XML文件处理
  • 6.5 数据库操作

教学方法

  • 理论讲解：数据采集和处理的基本概念
  • 代码演示：通过实例讲解爬虫开发和数据处理
  • 实践操作：编写和运行爬虫程序
  • 数据分析：处理和分析采集到的数据
  • 项目实践：完成综合性数据采集项目

考核方式

  • 平时成绩：30%（考勤、作业、课堂表现）
  • 实验成绩：30%（实验报告、爬虫开发）
  • 期末考试：40%（理论考试+实践操作）

学习资源

推荐书籍

  • 《Python网络爬虫权威指南》

    Ryan Mitchell 著

  • 《数据预处理与特征工程》

    王斌 著

  • 《Scrapy网络爬虫实战》

    刘硕 著

  • 《Python数据分析与挖掘实战》

    张良均 著

在线资源

  • Requests官方文档

    https://docs.python-requests.org/

  • BeautifulSoup文档

    https://www.crummy.com/software/BeautifulSoup/

  • Scrapy官方文档

    https://scrapy.org/documentation/

  • Kaggle数据集

    https://www.kaggle.com/datasets