简单介绍Scrapy框架
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，我们只需要实现少量的代码，就能够快速的抓取。
Scrapy使用了Twisted异步网络框架，可以加快我们的下载速度。
异步和非阻塞的区别
异步：调用在发出之后，这个调用就直接返回，不管有无结果
非阻塞：关注的是程序在等待调用结果时的状态，指在不能立刻得到结果之前，该调用不会阻塞当前线程
Scrapy工作流程
第一种爬虫方式
第二种爬虫方式
Scrapy入门
1 创建一个scrapy项目scrapy startproject mySpider2 生成一个爬虫scrapy genspider demo ""3 提取数据完善spider 使用xpath等4 保存数据pipeline中保存数据
在命令中运行爬虫
scrapy crawl qb# qb爬虫的名字
在pycharm中运行爬虫
from scrapy import cmdlinecmdline.execute("scrapy crawl qb".split())
pipline介绍和使用
从pipeline的字典形可以看出来，pipeline可以有多个，而且确实pipeline能够定义多个
为什么需要多个pipeline：
1 可能会有多个spider，不同的pipeline处理不同的item的内容
2 一个spider的内容可以要做不同的操作，比如存入不同的数据库中
注意：
1 pipeline的权重越小优先级越高
2 pipeline中process_item方法名不能修改为其他的名称
item的介绍和使用
items.pyimport scrapyclass TencentItem(scrapy.Item):# define the fields for your item here like:title = scrapy.Field()position = scrapy.Field()date = scrapy.Field()
Scrapy settings说明和配置
为什么需要配置文件：
配置文件存放一些公共的变量(比如数据库的地址，账号密码等)
方便自己和别人修改
一般用全大写字母命名变量名 SQL_HOST = ‘192.168.0.1’
Scrapy 下载中间件
下载中间件是scrapy提供用于用于在爬虫过程中可修改Request和Response，用于扩展scrapy的功能
使用方法：
编写一个Download Middlewares和我们编写一个pipeline一样，定义一个类，然后再settings中开启
Download Middlewares默认方法：
处理请求,处理响应,对应两个方法
process_request(self,request,spider):当每个request通过下载中间件时，该方法被调用process_response(self,request,response,spider):当下载器完成http请求，传递响应给引擎的时候调用
process_request(request,spider)
当每个Request对象经过下载中间件时会被调用，优先级越高的中间件，越先调用；该方法应该返回以下对象：None/Response对象/Request对象/抛出IgnoreRequest异常
● 返回None：scrapy会继续执行其他中间件相应的方法；
● 返回Response对象：scrapy不会再调用其他中间件的process_request方法,也不会去发起下载,而是直接返回该Response对象
● 返回Request对象：scrapy不会再调用其他中间件的process_request()方法,而是将其放置调度器待调度下载
● 如果这个方法抛出异常,则会调用process_exception方法
process_response(request,response,spider)
当每个Response经过下载中间件会被调用，优先级越高的中间件，越晚被调用，与process_request()相反；该方法返回以下对象：Response对象/Request对象/抛出IgnoreRequest异常。
● 返回Response对象：scrapy会继续调用其他中间件的process_response方法；
● 返回Request对象：停止中间器调用，将其放置到调度器待调度下载；
● 抛出IgnoreRequest异常：Request.errback会被调用来处理函数，如果没有处理，它将会被忽略且不会写进日志。
