scrapy是一个python的爬虫框架,可以用来做数据采集，数据分析等。

架构概览

Scrapy引擎(Scrapy Engine)

引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。

调度器(Scheduler)

调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。

下载器(Downloader)

下载器负责获取页面数据并提供给引擎，而后提供给spider。

Spiders

Spider是Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的URL的类。 每个spider负责处理一个特定(或一些)网站。

Item Pipeline

Item Pipeline负责处理被spider提取出来的item。典型的处理有清理、 验证及持久化(例如存取到数据库中)。

下载器中间件(Downloader middlewares)

下载器中间件是在引擎及下载器之间的特定钩子(specific hook)，处理Downloader传递给引擎的response。 其提供了一个简便的机制，通过插入自定义代码来扩展Scrapy功能。

Spider中间件(Spider middlewares)

Spider中间件是在引擎及Spider之间的特定钩子(specific hook)，处理spider的输入(response)和输出(items及requests)。 其提供了一个简便的机制，通过插入自定义代码来扩展Scrapy功能。

安装说明

建议在python虚拟机环境下安装。最新版本的pycharm创建的项目默认就是虚拟机环境，在pycharm中打开终端执行pip3 install scrapy，就可以安装。在pycharm中默认会将scrapy的依赖安装上。

创建项目命令

scrapy startproject myproject [project_dir]

运行项目

scrapy crawl myproject -o myproject.json

-o参数是将分析出来的数据输出到文件。

创建新的spider

scrapy genspider [-t template] <name> <domain>

例如:

scrapy genspider spider1 spider1.com

spider1.com是告诉爬虫在爬取哪个域名的链接，不是这个域名内的链接就不再爬取。

学习笔记

spider中的迭代元素时使用yield

在spider中使用yield有以下作用:

• 使用yield返回item，将item交给引擎，引擎会将item交给pipelines处理。
• 使用yield迭代完后，后面的代码还可以继续执行。例如上面的print()在每次迭代完会执行一次。
• 如果直接使用return，除了函数会退出，而且不会将返回结果交给pipelines处理。

pipelines管道

pipelines也是在创建爬虫项目时自动生成在pipelines.py中，这里是对结构化数据进行存储。

class TutorialPipeline(object):
 # 这个函数非必须实现，这个函数在初始化时执行一次，可以初始化数据库参数或者打开文件描述符等。
 def __init__(self):
 self.f = open("pipelines.json", "wb+")
 # 该方法是处理item的。
 def process_item(self, item, spider):
 content = json.dumps(dict(item), ensure_ascii=False) + ",\n"
 self.f.write(content.encode("utf-8"))
 return item
 # 这个函数非必须实现，在爬虫结束时执行，可以用来释放资源或一些后续工作。
 def close_spider(self, spider):
 self.f.close()

管道需要在settings.py中配置。

# 可以配置多个管道，后面数字是优先级，数值越小优先级越高。
ITEM_PIPELINES = {
 'tutorial.pipelines.TutorialPipeline': 300,
}

参考:

Scrapy官网:https://docs.scrapy.org/en/latest/index.html