课程名称：

Python3爬虫三大案例实战分享

课程须知：

本课程为《自己动手，丰衣足食！Python3网络爬虫实战案例》的免费课程，精品课程请前往：

https://guojiang.club/course/157

讲师介绍：

崔庆才，北航硕士，Python技术控，《Python 3网络爬虫开发实战》作者，百万级热度爬文博主。喜欢钻研，热爱生活，乐于分享。

课程介绍：

Python3爬虫三大案例实战分享：猫眼电影、今日头条街拍美图、淘宝美食

课程源码：

今日头条：https://github.com/Germey/TouTiao

淘宝美食：https://github.com/Germey/TaobaoProduct

猫眼电影：https://github.com/Germey/MaoYan

本课程大纲：

分析Ajax抓取今日头条街拍美图

Requests+正则表达式抓取猫眼电影TOP100

Selenium+Chrome/PhantomJS抓取淘宝美食

正式课程大纲：

一、环境篇

• Python3+Pip环境配置

• MongoDB环境配置

• Redis环境配置

• MySQL环境配置

• Python多版本共存配置

• Python爬虫常用库的安装

二、基础篇

• 爬虫基本原理

• Urllib库基本使用

• Requests库基本使用

• 正则表达式基础

• BeautifulSoup详解

• PyQuery详解

• Selenium详解

三、实战篇

• 使用Requests+正则表达式爬取猫眼电影

• 分析Ajax请求并抓取今日头条街拍美图

• 使用Selenium模拟浏览器抓取淘宝商品美食信息

• 使用Redis+Flask维护一个动态代理池

• 使用代理处理反爬抓取微信文章

四、框架篇 

• PySpider框架基本使用及抓取TripAdvisor实战

• PySpider架构概述及用法详解

• Scrapy框架的安装
  

• Scrapy框架基本使用

• Scrapy命令行详解

• Scrapy中选择器的用法
  

• Scrapy中Spiders的用法

• Scrapy中Item Pipeline的用法
  

• Scrapy中Download Middleware的用法

• Scrapy爬取知乎用户信息实战
  

五、分布式篇

• Scrapy分布式原理及Scrapy-Redis源码解析

• Scrapy分布式架构搭建抓取知乎

• Scrapy分布式的部署详解