700字范文,内容丰富有趣,生活中的好帮手!
700字范文 > 新手Python爬虫教学(Request+BeautifulSoup)

新手Python爬虫教学(Request+BeautifulSoup)

时间:2023-09-04 12:15:49

相关推荐

新手Python爬虫教学(Request+BeautifulSoup)

新手学习Python爬虫之Request和beautifulsoup

Created: Apr 13, 2:45 PM

学了一下爬虫基本原理,利用request和beautiful soup爬了最简单的网页。为了巩固学到的东西,写了一篇总结:

首先,说一下我现在能爬的这些网页的基本特点:

在Network中,文档类型为document的请求响应中可以找到需要爬取的所有内容。不需要登陆等POST操作就可以得到需要的信息

这类网页的爬取方法很有规律,变化也不多,总结下来就是这几个步骤:

利用request库发送请求,得到响应,即网页源代码利用解析库(我用的是BeautifulSoup)按需解析网页,得到我们需要的信息将信息按照我们需要的格式保存

详细的方法说明

建议配合下方代码一起食用

首先打开Network,清空响应,刷新后在Network中找出Type为document的响应,这就是网页源代码点击Headers,复制User-Agent并写在header里(具体操作看下面的代码),告诉网站访问者请求的工具,让网站不会认为我们是在爬虫而是在用浏览器访问。点击Response,在源代码中搜索我们想要找的部分,了解他们对应的DOM结构是怎么样的。(关于DOM的东西不写啦,自己可以搜索)写请求函数,得到网页源代码根据网页源代码和我们需要的信息的DOM结构,按需解析。

放一下代码,再来讲每段代码对应的特色部分:

站酷网批量下载图片

URL:/work/ZNDQzMjAwNjA=.html

我爬取站酷网的起因是站酷网中,有些作品因为作者的版权原因禁止保存。简单的方法是可以通过浏览器审查元素的方式找到相应链接,点开挨个保存,但是这样太麻烦了,就想写一个可以通过输入站酷帖子详情页url的方法快速批量保存。

脚本使用方法:修改URL链接后运行,就会批量保存图片

使用效果图:

站酷网结构很整齐,所以也很容易找到图片url的位置很容易保存

不足的是,这个是最早写的一份代码,当时对这两个库理解都不深,代码结构写的很差。

from bs4 import BeautifulSoupimport requestsURL = '/work/ZNDQyNTQ1OTI=.html'html = requests.get(URL).textsoup = BeautifulSoup(html)img_ul = soup.find_all('div', {"class": "reveal-work-wrap"})print(type(img_ul))for ul in img_ul:imgs = ul.find_all('img')for img in imgs:url = img['src']r = requests.get(url,stream='True')image_name = url.split('/')[-1]with open('./img/%s' % image_name, 'wb') as f:for chunk in r.iter_content(chunk_size=128):f.write(chunk)print('Saved %s' % image_name)

抓取微博热搜

URL:/top/summary

这个是看到教程里面有教你抓取猫眼电影的,我本来想照着写,奈何猫眼电影现在需要验证码了,我还不太会,所以换了微博热搜来爬

这个脚本没有写输出到文件,简单的输出到控制台先看看效果:

这次写的时候学着更加模块化地定义每个函数,虽然我本人觉得我写C/C++的时候模块化做的还是很好的,但是感觉python是一种很繁华浮躁的脚本语言,所以总是在开始的时候很难静下心来想想怎么模块化。

思路同样很简单,把请求网页写为了一个函数,解析网页写成了一个函数。

在解析网页时,写微博热搜包括后面两段代码时我都遇到了一个问题,就是不知道soup中某些方法在使用过后返回值是什么。我的解决方法是经常使用**type()**函数来查看变量类型。

import requestsfrom bs4 import BeautifulSoup def get_one_page(url):headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) ''Chrome/80.0.3987.163 Safari/537.36'}response = requests.get(url, headers=headers)if response.status_code == 200:return response.textreturn None

def find_hot(html):soup = BeautifulSoup(html, "html.parser")hot_text1 = soup.find_all('td')list = []for i in hot_text1:text_all = i.find_all('a', {'target': "_blank"})if text_all != []:list.append(text_all)return list​ def split(list):i = 0for item in list:i += 1print(i, item[0].string)​ def main():url = '/top/summary/'html = get_one_page(url)list = find_hot(html)split(list)​ main()

抓取油猴脚本以及每个脚本的当日安装数和总安装数,并保存至csv文件

URL:/zh-CN/scripts

这个脚本我主要是想试着抓取多个信息,最开始没想到抓什么,就在收藏夹里面看到了油猴脚本,这个网站不仅是信息列表形式,而且信息的维度很多,适合练习。

我从这些信息中选择了标题+今日安装数+总安装数抓取,抓取效果保存在csv文件中:

这个脚本稍微详细说下:

这是我从源代码中复制出的一条,对应的是第一条油猴脚本的信息:

<li data-script-id="370634" data-script-name="懒人专用,全网VIP视频免费破解去广告、全网音乐直接下载、百度网盘直接下载、知乎视频下载等多合一版。长期更新,放心使用。" data-script-authors="{&quot;198522&quot;:&quot;懒蛤蛤&quot;}" data-script-daily-installs="8167" data-script-total-installs="1723254" data-script-rating-score="98.4" data-script-created-date="-07-27" data-script-updated-date="-04-08" data-script-type="public" data-script-version="2.3.2" data-sensitive="false" data-script-language="js" data-css-available-as-js="false"><article><h2><a href="/zh-CN/scripts/370634-%E6%87%92%E4%BA%BA%E4%B8%93%E7%94%A8-%E5%85%A8%E7%BD%91vip%E8%A7%86%E9%A2%91%E5%85%8D%E8%B4%B9%E7%A0%B4%E8%A7%A3%E5%8E%BB%E5%B9%BF%E5%91%8A-%E5%85%A8%E7%BD%91%E9%9F%B3%E4%B9%90%E7%9B%B4%E6%8E%A5%E4%B8%8B%E8%BD%BD-%E7%99%BE%E5%BA%A6%E7%BD%91%E7%9B%98%E7%9B%B4%E6%8E%A5%E4%B8%8B%E8%BD%BD-%E7%9F%A5%E4%B9%8E%E8%A7%86%E9%A2%91%E4%B8%8B%E8%BD%BD%E7%AD%89%E5%A4%9A%E5%90%88%E4%B8%80%E7%89%88-%E9%95%BF%E6%9C%9F%E6%9B%B4%E6%96%B0-%E6%94%BE%E5%BF%83%E4%BD%BF%E7%94%A8">懒人专用,全网VIP视频免费破解去广告、全网音乐直接下载、百度网盘直接下载、知乎视频下载等多合一版。长期更新,放心使用。</a><span class="name-description-separator">-</span><span class="description">自用组合型多功能脚本,集合了优酷、爱奇艺、腾讯、芒果等全网VIP视频免费破解去广告,网易云音乐、QQ音乐、酷狗、酷我、虾米、蜻蜓FM、荔枝FM、喜马拉雅等网站音乐免客户端下载,百度网盘直接下载,知乎视频下载,优惠券查询等几个自己常用的功能。</span></h2><dl class="inline-script-stats"><dt class="script-list-author"><span>作者</span></dt><dd class="script-list-author"><span><a href="/zh-CN/users/198522-%E6%87%92%E8%9B%A4%E8%9B%A4">懒蛤蛤</a></span></dd><dt class="script-list-daily-installs"><span>今日安装</span></dt><dd class="script-list-daily-installs"><span>8,167</span></dd><dt class="script-list-total-installs"><span>总安装量</span></dt><dd class="script-list-total-installs"><span>1,723,254</span></dd><dt class="script-list-ratings"><span>得分</span></dt><dd class="script-list-ratings" data-rating-score="98.4"><span><span class="good-rating-count" title="好评或收藏的人数。">1868</span><span class="ok-rating-count" title="评级为一般的人数。">20</span><span class="bad-rating-count" title="评级为差评的人数。">10</span></span></dd><dt class="script-list-created-date"><span>创建日期</span></dt><dd class="script-list-created-date"><span><time datetime="-07-27T02:35:32+00:00">-07-27</time></span></dd><dt class="script-list-updated-date"><span>最近更新</span></dt><dd class="script-list-updated-date"><span><time datetime="-04-08T02:51:30+00:00">-04-08</time></span></dd></dl></article>

可以看到标题位于li标签的data-script-name属性下,所以我们首先用find_all()找出所有li标签。

接着,我们可以在这些li标签下,通过get找出所有data-script-name的值,就是脚本的标题

值得一提的是,用find_all()得到的结果是一个结果集,如果要继续使用soup中的方法,需要便利集合中的元素来使用这些方法。

还有,在将中文保存到csv的时候,如果不使用encoding=‘utf_8_sig’,则会在用excel打开文件时出现乱码。

import requestsimport csvfrom bs4 import BeautifulSoupurl = '/zh-CN/scripts'​ def get_one_page(url):headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) ''Chrome/80.0.3987.163 Safari/537.36'}response = requests.get(url, headers=headers)if response.status_code == 200:return response.textreturn None​ def find_name(response):soup = BeautifulSoup(response, "html.parser")info = soup.find_all('li')list = []with open('data.csv', 'w', encoding='utf_8_sig') as csvfile:writer = csv.writer(csvfile)writer.writerow(['text', 'daily_install', 'total_instal'])# print(info)for i in info:name = i.get('data-script-name')daily_install = i.get('data-script-daily-installs')tot_install = i.get('data-script-total-installs')if (name):writer.writerow([name, daily_install, tot_install])templist = [name, daily_install, tot_install]print(templist)list.append(templist)return list​ def main():response = get_one_page(url)soup = find_name(response)# print(soup)​ main()

抓取GitHub TrendingList的仓库名,Star数和Fork数并保存至csv文件

URL:/trending

GitHub TrendingList和上一个油猴脚本的抓取比较类似。抓取这个的灵感来源于一个人给我发了邮件说在GitHub上抓到了我的信息,我就想也抓一抓这些大佬仓库。

抓取到的结果也是保存在了csv文件中:

这次我是在解析网页之后,分别写了三个函数来提取他们的仓库名、Star数、Fork数,然后合并三列输入进csv文件,这种做法的缺点就是需要保证这三个数组的长度相等,数据一一对应才能保证是正确的。不过网页结构肯定会保证这一点的,好像也没什么不好。

因为我不太熟练正则表达式,所以写出来的代码效率比较低,初学者将就看看吧

值得一提的是,Star和Fork数除了对应svg不一样外,其他都一样,所以我只能采用把他们分开写在两个函数中,然后提取父节点的text这种下策,效率属实比较低。

import requestsimport csvfrom bs4 import BeautifulSoupurl = '/trending'​ def get_one_page(url):headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) ''Chrome/80.0.3987.163 Safari/537.36'}response = requests.get(url, headers=headers)if response.status_code == 200:return response.textreturn None​ def find_name(soup):namelist = []h1 = soup.find_all('h1')for e_h1 in h1:a = e_h1.find_all('a')for e_a in a:name = e_a.get_text().replace('\n', '').replace(' ', '')namelist.append(name)return namelist​ def find_star(soup):star = []star_fork = soup.find_all('a', {'class': 'muted-link'})for e_s_f in star_fork:e_star = e_s_f.find('svg', {'aria-label': 'star'})if e_star:e_star = e_star.find_parent().get_text().replace('\n', '').replace(' ', '')star.append(e_star)return star​ def find_fork(soup):fork = []star_fork = soup.find_all('a', {'class': 'muted-link'})for e_s_f in star_fork:e_fork = e_s_f.find('svg', {'aria-label': 'fork'})if e_fork:e_star = e_fork.find_parent().get_text().replace('\n', '').replace(' ', '')fork.append(e_star)return fork​ def main():response = get_one_page(url)soup = BeautifulSoup(response, "html.parser")namelist = find_name(soup)star = find_star(soup)fork = find_fork(soup)print(len(namelist), len(star), len(fork))rows = zip(namelist, star, fork)with open('github.csv', 'w') as f:writer = csv.writer(f)writer.writerow(['Developer/Repo', 'Star', 'Fork'])for row in rows:writer.writerow(row)​ main()

第一次写教程性的文章,大部分都是基于自己的理解写的,有的表述肯定没有书上容易懂,就当记录一下自己的学习。

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。