学习爬虫的时候说到需要安装scrapy框架,然后本人就开始犯难了,怎么都装不好,下面给大家分享一下本人掉过的坑
首先安装考虑用到最简单的办法就是命令安装输入:pip install scrapy
结果不出所料报错了,提示:Failed building wheel for Twisted
Microsoft Visual C++ 14.0 is required...
于是各种百度,怎么解决,这是啥意思,弄了半天还是一头雾水,最后终于找到了解决办法。
方法如下:
1、直接使用pip install scrapy安装不成功可以安装whl格式的包
下载了scrapy的whl包先不要着急安装,接着
2、安装whl格式包需要安装wheel库
这个库可以直接用命令pip install wheel安装,没有安装过的请先安装,已经安装过的就不用安装了
3、scrapy依赖twiste,同样使用whl格式的包进行安装
根据你的Python的版本选择合适的包,名称中间的cp37是python3.7的意思,amd64是python的位数
下载完成后使用cmd打开windows的命令行窗口,进入whl包所在的文件夹执行如下命令:
pip installTwisted‑18.7.0‑cp37‑cp37m‑win_amd64.whl
Scrapy‑1.5.1‑py2.py3‑none‑any.whl包使用同样的方式安装,只是应该等到其所有依赖的包安装完成后才能进行安装,现在还不能安装
4、scrapy依赖lxml包,需要先安装lxml包,lxml包依赖libxml2,libxml2-devel,所以安装lxmllibxml2, libxml2-devel。幸运的是我之前已经安装过lxml
如果不知道自己有木有安装过,可以命令输入pip install lxml查看,如果提示如下图说明已经安装过
5、所有准备工作做完,终于可以安装scrapy包了,进入Scrapy‑1.5.1‑py2.py3‑none‑any.whl所在的目录执行命令
pip installScrapy‑1.5.1‑py2.py3‑none‑any.whl
6、等执行完成,还需要验证是否安装成功,输入scrapy -h
显示scrapy的相关信息,大功告成,散会