scrapy爬虫安装：

1. 首先，安装Python，pip，然后使用pip安装lxml和scrapy，这样就可以新建scrapy项目了。

2. 然后，在命令行使用scrapy startproject xxx命令新建一个名为xxx的scrapy爬虫项目。

喜欢的可以关注，稍后会发出一篇使用scrapy实战爬取亚马逊商品评论数据的文章！

scrapy爬虫内部处理流程：

1. 我们在使用scrapy写爬虫，一般要继承scrapy.spiders.Spider类，在这个类中，有个数组类型的变量start_urls，start_urls定义了爬虫开始爬取的那些链接，所以我们会把需要先爬取的页面链接放入start_urls中。然后，scrapy.spiders.Spider会通过调用start_requests()方法，以start_urls中的所有链接的每个链接生成对应的Request对象，该对象设置了默认的回调函数parse()方法。然后，scrapy主流程会用该Request对象发HTTP请求并且获取到相应内容，封装成Response对象，然后这个Response对象会被作为参数传递给Request设置的回调函数，也就是parse()方法。这里要注意，start_requests()方法是Spider提供的，本来就实现好的，一般情况下不需要自己去实现start_requests()方法。

2. 在scrapy封装Response后，会把该Response传递给parse()方法处理。scrapy.spiders.Spider中的parse()方法就是默认提供给用户来实现的。在这个parse方法中，我们可以通过传进来的Response对象，使用scrapy的选择器和xpath()或者css()提取出我们想要的内容，封装成我们在pipeline中定义的Item对象返回。或者，如果有下一页的数据或者其他页面的数据，在parse()方法中解析出来这样的链接之后，我们也可以用这些链接生成Request对象返回。parse()方法可以返回一个Item对象、dict、Request对象，或者是一个包括这三个者的可迭代对象。或者我们也可以在生成Request的时候指定自定义的回调函数，不使用parse()方法。

3. 如果parse()方法或回调函数返回的是一个Request对象，那么scrapy.spiders.Spider会将这个Request对象交给scrapy主流程处理，发出HTTP请求，获取响应，之后又生成Response对象， 传递给Request中设置的回调函数进行处理。也就是不断地执行第二步和第三步。

4. 如果parse()方法或回调函数返回的是Item对象，那scrapy.spiders.Spider会把这个返回的Item传递给scrapy中的Item Pipeline处理。所以，在实现爬虫的时候，一般都要定义一个ItemPipeline来处理我们在回调函数中返回的Item。在pipeline中，我们可以把Item输出，持久化到数据库或者文件中。

scrapy.spiders.Spider ：

scrapy.spiders.Spider是scrapy中最简单的spider。一般要爬取的操作都定义在Spider类中。重写Spider的parse方法来处理获取到的网页内容。

Spider主要属性和方法如下：

Spider主要属性和方法

官方使用示例为：

Spider官方示例

scrapy.spiders.CrawlSpider：

CrawlSpider继承自Spider，是一个适用于爬取很规则的网站的爬虫。其定义了提取链接的规则，能够很方便的从Response中提取到想要的链接并且继续跟进这些链接。

CrawlSpider主要属性如下：

CrawlSpider主要属性和方法

其中，Rule有以下几个参数：

Rule参数

其中LinkExtractor对象主要有以下几个参数：

LinkExtractor参数

最常用的LinkExtractor为LxmlLinkExtractor，其使用了lxml中的HTMLParser来提取HTML内容，源码为：

LxmlLinkExtractor

看了这么多，我们最终来看一下CrawlSpider使用示例，如：

CrawlSpider

Spider.start_requests()方法：

由上面得知，scrapy.spiders.Spider会通过调用start_requests()方法，以start_urls中的所有链接的每个链接生成对应的Request对象，该对象设置了默认的回调函数parse()方法。start_requests()方法的默认实现如下：

start_requests

我们如果要自定义先爬取的页面时，或者要自己定义先生成的Request时，或者某些需要网站需要登录才能访问时，我们就会自己来实现start_request()方法，我们在实现该方法的时候，一般会参考它的默认实现，然后把start_requests()方法实现为一个包含yield的生成器。我们把想要先爬取的链接全部存放在start_urls列表中，然后对于这个列表中的每一个url来说，start_requests()方法只会调用一次，然后就会生成Request，获取Response，将Response传递给Request中的回调函数处理。但这不是说在整个爬虫项目的爬取过程中start_request()方法只会调用一次，而是说，对于start_urls中的每一个链接，start_requests()方法只会调用一次）。

所以如果我们实现了start_requests()方法，那么我们会把它实现为生成器的形式，即，在start_requests()实现中，使用yield中通过make_requests_from_url(url)方法产生默认的Request对象或者我们自定义的Request对象。如，

自定义start_requests实现

start_requests()方法默认会取start_urls中所有的链接来生成Request对象。既然我们可以自定义实现start_requests()方法，我们在start_requests()中也可以不使用start_urls，使用我们自定义的url生成Request就行，同时，我们还能给Request随意指定我们想要的回调函数。

Request构造方法如下，可以看到，必备的参数只有url，其他都是可选参数，如，

Request构造方法

对于需要登录或者需要验证cookie才能访问的网页，我们也可以使用scrapy来模拟登录，获取到cookie。这个时候，就不要使用默认的Request了，而是用FormRequest。从名字能够看出，FormRequest天生就是为了在请求中模拟网页上的表单而存在的。

FormRequest继承了Request类，FormRequest只比Request多了一个候选参数formdata，其他参数和Request一样。所以我们在创建FormRequest时，可以设置formdata参数来模拟出表单数据。

创建FormRequest的方法如下：

from_response

这是FormRequest类的一个静态方法。

scrapy官方给出的FormRequest使用示例如下：

FormRequest官方示例

我们自己使用FormRequest模拟登录的示例如下：

FormRequest模拟登陆

喜欢的可以关注，稍后会发出一篇使用scrapy实战爬取亚马逊商品评论数据的文章！

更多文章

1. Java中最重要的并发编程抽象工具类

2. Java执行系统命令、外部脚本或外部程序

3. Java网络爬虫工具，OkHttp完全详细用法