700字范文,内容丰富有趣,生活中的好帮手!
700字范文 > JavaScript 动态渲染页面爬取(二) —— 基于 Splash

JavaScript 动态渲染页面爬取(二) —— 基于 Splash

时间:2019-04-07 19:44:33

相关推荐

JavaScript 动态渲染页面爬取(二) —— 基于 Splash

目录

一、安装 Splash二、Splash 的使用

一、安装 Splash

Splash是一个 JavaScript 渲染服务,是一个含有 HTTP API 的轻量级浏览器,它还对接了 Python 中的 Twisted 库和 QT 库。利用它,同样可以爬取动态渲染的页面。利用 Splash,可以实现如下功能:

异步处理多个网页的渲染过程;获取渲染后页面的源代码或截图。通过关闭图片渲染或者使用 Adblock 规则的方式加快页面渲染的速度;执行特定的 JavaScript 脚本;通过 Lua 脚本控制页面的渲染过程;获取页面渲染的详细过程并以 HAR(HTTP Archive) 的格式呈现出来。

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。