课程名称：

Python网络爬虫实战

本课程为《人人都爱数据科学家！Python数据科学精华实战课程》的免费课程，精品课程请前往：

https://guojiang.club/course/159

课程目的：

在现在竞争的信息化社会中，如何利用数据分析让自己站在信息不对称的一方，保持竞争优势，是数字工作者的必备技能。不过想飞之前总得先学会跑步，分析数据之前先首要学会爬数据与处理数据，才有有事半功倍之效。 

本Python 网络爬虫课程将教授如何用Python抓取、清理、储存网络数据，透过实际案例示范，传授如何定义数据产品、从网络萃取与清理数据、数据库储存、并进行初步数据分析的基础方法，让大数据分析不再只是纸上谈兵。

讲师介绍：

丘祐玮(DavidChiu) – 大数软件(LargitData)创办人，是一位致力于提供舆情分析服务的创业者与数据科学家，熟悉Hadoop,

Spark 等巨量数据平台，及擅长使用R,

Python与机器学习技术进行数据分析。曾任多家上市公司顾问及担任知名大数据应用程序竞赛的评审，自身着有Machine

Learning With R Cookbook [Packt] 与 R Cookbook [Packt] 二书

课程内容：

  课时1：大数据时代的数据挑战

  课时2：非结构化数据处理与网络爬虫

  课时3：了解网络爬虫背后的秘密 

  课时4：撰写第一只网络爬虫

  课时5：用BeautifulSoup 剖析网页元素

  课时6：BeautifulSoup 基础操作

  课时7：观察如何抓取新浪新闻信息 

  课时8：制作新浪新闻网络爬虫 

  课时9：抓取新闻内文页面 

  课时10：取得新闻内文标题 

  课时11：取得新闻发布时间 

  课时12：处理新闻来源信息 

  课时13：整理新闻内文 

  课时14：撷取新闻编辑者名称 

  课时15：抓取新闻评论数

  课时16：剖析新闻标识符 

  课时17：建立评论数抽取函式 

  课时18：完成内文信息抽取函式 

  课时19：从列表连结取出每篇新闻内容

  课时20：找寻分页连结 

  课时21：剖析分页信息 

  课时22：建立剖析清单链接函式 

  课时23：使用for 循环产生多页连结 

  课时24：批次抓取每页新闻内文

  课时25：使用Pandas 整理数据 

  课时26：保存数据到数据库