700字范文,内容丰富有趣,生活中的好帮手!
700字范文 > Day7-模拟登录丁香园 爬取所有用户基本信息和回复内容

Day7-模拟登录丁香园 爬取所有用户基本信息和回复内容

时间:2018-08-20 18:55:39

相关推荐

Day7-模拟登录丁香园 爬取所有用户基本信息和回复内容

最后一天了,趁着周末把DataWhale爬虫7天训练最后的task做出来了。

前几天的学习,从学习http,post和get两种请求方法开始,到学习简单urllib和requests请求一个网页进行简单爬虫,再到学习了正则,bs,xpath等来对数据进行提取,用selenium进行模拟163邮箱登录等,最后一天的任务算是对前六天学习的检验把。

模拟登录丁香园,我们使用的还是selenium进行自动化模拟,方法在之前的文章中介绍了。

提取数据,我们用的是xpath,简单快捷。

代码实现:

不知道为什么,之前不用xpath,用selenium里的查找,最后返回的只有一个用户。

结果:

总结:

通过这七天的学习,自己能够动手写一些简单的爬虫了,时间过得很快,和Datawhale爬虫第五期群里的小伙伴们一起学习是一件很美妙的事,学到的东西不少,感谢Dw。

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。