第4天-爬虫进阶篇

经过三天爬虫入门篇章学习之后,我们有两条路可以走

  • 一个是继续深入学习,以及关于设计模式的一些知识,强化Python相关知识,自己动手造轮子,继续为自己的爬虫增加分布式,多线程等功能扩展

  • 另一条路便是学习一些优秀的框架,先把这些框架用熟,可以确保能够应付一些基本的爬虫任务,也就是所谓的解决温饱问题(企业用人要求),然后再深入学习它的源码等知识,进一步强化。

框架概述

爬虫框架,其中比较好用的是 Scrapy 和 PySpider。

  • PySpider

    优点:分布式框架,上手更简单,操作更加简便,因为它增加了 WEB 界面,写爬虫迅速,集成了phantomjs,可以用来抓取js渲染的页面。

    缺点:自定义程度低

    http://docs.pyspider.org/en/latest/Quickstart/

  • Scrapy

    优点:自定义程度高,比 PySpider更底层一些,适合学习研究,需要学习的相关知识多,拿来研究分布式和多线程等等是最合适不过的。

    缺点:非分布式框架(可以用scrapy-redis分布式框架)

Scrapy

官方文档:

http://doc.scrapy.org/en/latest/intro/tutorial.html

豆瓣Python小组:

https://www.douban.com/search?q=python+%E7%88%AC%E8%99%AB

企业招聘要求: