700字范文,内容丰富有趣,生活中的好帮手!
700字范文 > python将字符写入excel_Python 爬虫并且将数据写入Excel

python将字符写入excel_Python 爬虫并且将数据写入Excel

时间:2021-02-01 00:57:13

相关推荐

python将字符写入excel_Python 爬虫并且将数据写入Excel

听到网站爬虫,很多人都觉得很高大上,爬虫是不是黑客才能干的事啊?今天这里展示了一个简单的爬虫程序,并且对数据进行读取分析,最后写入Excel文件。

难点在于分析HTML代码上,最起码您得看得懂HTML代码。

requests库

requests库功能很强大,这里我们需要用到它都只是我们给它一个网址,然后让它将html代码获取下来:

import requests

headers = {

'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.100 Mobile Safari/537.36'}

r = requests.get('', headers=headers)

print(r.text)

有些网站含有防爬虫机制,如果不设置UserAgent就无法获取准确的网站内容。那么该如何取得User-Agent到值:

如果你使用到送chrome浏览器,那么按F12,然后再刷新页面,在Network页面中选择all,再在左侧到中找到Headers中找出User-Agent复制即可,其它网页也是类似操作。

image-0213153036379.png

运行之后将会得到首页都全部代码:(代码太长,此处省略)

提取HTML数据:Beautiful Soup

Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.

好,现在查阅了Beautiful Soup官网都基本说明,我们可以来完成一个最简单都爬虫代码,获取到百度的title值:

import requests

from bs4 import BeautifulSoup

headers = {

'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.100 Mobile Safari/537.36'}

r = requests.get('', headers=headers)

soup = BeautifulSoup(r.text, 'html.parser')

pagetitle = soup.find("title")

print(pagetitle.get_text())

运行以后得到:

百度一下

进程已结束,退出代码 0

其实还是相当简单的对吧,下面我们再把难度提高一点点,去获取一个复杂点都网站,并且把它写入Excel文件里面。

爬虫实行僧网站

下面到例子是爬取实习僧网站,是一个实习生的招聘网站。

我们想爬取到是从page=1-page=4之间的所有页面,即是从:

之间的所有网页:

那么按照上面的代码,我们可以写出以下的代码:

import requests

htmls = []

headers = {

'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.100 Mobile Safari/537.36'}

for page in range(1, 5):

url = f'/interns?page={page}&keyword=python'

r = requests.get(url, headers=headers)

htmls.append(r.text)

print('正在读取的页面:' + url)

看着屏幕逐渐跳出正在读取的页面的URL,其实是很有感觉的~~

接着,我们对页面到HTML代码进行分析:

image-0214164309764.png

根据图片我们可以看出,左侧到列表是在

headers = {

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/82.0.4051.0 Safari/537.36 Edg/82.0.425.0'}

for page in range(1, 2):

url = f'/interns?page={page}&keyword=python&city=%E5%85%A8%E5%9B%BD&internExtend='

r = requests.get(url)

soup = BeautifulSoup(r.text, 'lxml')

offers = soup.select('.intern-wrap.intern-item')

htmls = []

for offer in offers:

但我们主要不是找列表的所有数据,我们根据需求获取其中一部分的数据即可。假设我们需要提取的是职位名称,就是上图的 开发部-Python实习生(此处有反爬虫机制,数字和字母都使用了一种特殊的字体进行简单的加密,如果需要正确读取需要进行解密,等以后再写一篇文章说明)和详细页面的链接即可。

循环获取到列表数据以后,我们再获取所需要的数据,分析代码我们看到,标题和链接的html代码是:

深度学习培训导实习 -/天

上海 | 天/周 | 个月

我们要如何查询这一段代码的需要内容呢,首先要得到链接,就要让指针指向div - class='intern-detail__job'里面,再查找a标签里面的href即可得到url,利用get_text()就可以得到名称(本例中的title也是可以的)

htmls = []

for offer in offers:

urls = offer.find('div', class_="intern-detail__job").find("p").find("a")

name = urls.get_text()

link = urls["href"]

htmls.append(

{'name': name, 'url': link})

现在我们先不着急着把数据写入Excel,先把数据写入字典htmls=[]里面,再打印出来。如果查找不对,那么将打印出一个空的字典出来,完整代码如下:

import requests

from bs4 import BeautifulSoup

headers = {

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/82.0.4051.0 Safari/537.36 Edg/82.0.425.0'}

for page in range(1, 2):

url = f'/interns?page={page}&keyword=python&city=%E5%85%A8%E5%9B%BD&internExtend='

r = requests.get(url)

soup = BeautifulSoup(r.text, 'lxml')

offers = soup.select('.intern-wrap.intern-item')

htmls = []

for offer in offers:

urls = offer.find('div', class_="intern-detail__job").find("p").find("a")

name = urls.get_text()

link = urls["href"]

htmls.append(

{'name': name, 'url': link})

print('正在读取的页面:' + url)

print(htmls)

程序输出:

正在读取的页面:/interns?page=1&keyword=python&city=%E5%85%A8%E5%9B%BD&internExtend=

[{'name': '数据科学实习\ue1ba', 'url': '/intern/inn_j34ozcntlsab'}, {'name': '\ue62b\uf1dd\uf040\ue43a\uede0\uf6c5运维实习\ue1ba', 'url': '/intern/inn_i3dkjet1hnbn'}, {'name': '售\uf8bd实习\ue1ba', 'url': '/intern/inn_ghmrjov3g75r'}, {'name': '【\uedbf\uf2ae\uedbf\uf2ae校\ue5e8】后台 开发\uf31e\ueeea\uf34e', 'url': '/intern/inn_ibdhjujc1r7j'}, {'name': '【\uedbf\uf2ae\uedbf\uf2ae校\ue5e8】爬虫\uf31e\ueeea\uf34e', 'url': '/intern/inn_rcsmiygwdwzp'}, {'name': '服务\ued26开发实习\ue1ba', 'url': '/intern/inn_ok5wfm0zjaru'}, {'name': '\ue62b\uf1dd\uf040\ue43a\uede0\uf6c5开发实习\ue1ba-\uf3c6\ue147团队', 'url': '/intern/inn_zo0olj4az7xo'}, {'name': '\ue62b\uf1dd\uf040\ue43a\uede0\uf6c5开发\uf31e\ueeea\uf34e', 'url': '/intern/inn_otbcbdcmlfrv'}, {'name': ' 编\ueeea讲\uf34e--\uedbf\uf2ae届校\ue5e8', 'url': '/intern/inn_eogiclckforz'}, {'name': '后\ued26开发实习\ue1ba', 'url': '/intern/inn_njckxepejl1q'}, {'name': '深度学习培训导\uf34e实习\ue1ba', 'url': '/intern/inn_rgbpqean65ke'}, {'name': '\ue62b\uf1dd\uf040\ue43a\uede0\uf6c5实习\ue1ba', 'url': '/intern/inn_bfom7ajdvvsz'}, {'name': '\ue62b\uf1dd\uf040\ue43a\uede0\uf6c5实习', 'url': '/intern/inn_kabgjlwc9tmc'}, {'name': '\ue62b\uf1dd\uf040\ue43a\uede0\uf6c5助教实习\ue1ba', 'url': '/intern/inn_eewbvqvs3no1'}, {'name': '数据分析实习\ue1ba', 'url': '/intern/inn_ckb0bj41ti5t'}, {'name': '金融\uf31e\ueeea实习\ue1ba', 'url': '/intern/inn_seknmdkmqfp6'}, {'name': '\ue62b\uf1dd\uf040\ue43a\uede0\uf6c5爬虫\uf31e\ueeea\uf34e', 'url': '/intern/inn_gybdr3swa1nz'}, {'name': '数据清洗\uf31e\ueeea\uf34e', 'url': '/intern/inn_110d5rowipjl'}, {'name': '\ue62b\uf1dd\uf040\ue43a\uede0\uf6c5 后\ued26开发实习\ue1ba', 'url': '/intern/inn_m97hnb9uidsy'}, {'name': '\ue62b\uf1dd\uf040\ue43a\uede0\uf6c5助教', 'url': '/intern/inn_4pbllbmzn0kx'}, {'name': '\ue62b\uf1dd\uf040\ue43a\uede0\uf6c5开发实习', 'url': '/intern/inn_xp0f1iwabrzv'}]

字典有数据,并且符合我们的要求,写入成功。

将数据写入Excel

写入Excel也很简单,今天我们来安装一个新的Excel库:openpyxl。

然后在代码的文件夹中新建一个Excel文件,取名为list1.xlsx,那么要写入这个文件的代码是:

from openpyxl import load_workbook

workbook = load_workbook(filename='list1.xlsx')

sheet = workbook.active

那么插入数据的方法有很多,下面我们看最简单的方法,在循环的内部插入代码:

import requests

from bs4 import BeautifulSoup

from openpyxl import load_workbook

workbook = load_workbook(filename='list1.xlsx')

sheet = workbook.active

I = 0

headers = {

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/82.0.4051.0 Safari/537.36 Edg/82.0.425.0'}

for page in range(1, 5):

url = f'/interns?page={page}&keyword=python&city=%E5%85%A8%E5%9B%BD&internExtend='

r = requests.get(url)

soup = BeautifulSoup(r.text, 'lxml')

offers = soup.select('.intern-wrap.intern-item')

for offer in offers:

I += 1

urls = offer.find('div', class_="intern-detail__job").find("p").find("a")

name = urls.get_text()

link = urls["href"]

str1 = 'A' + str(I)

str2 = 'B' + str(I)

sheet[str1].value = name

sheet[str2].value = link

print('正在读取的页面:' + url)

workbook.save(filename='list1.xlsx')

打开list1.xlsx文件,写入成功:

image-0218150924500.png

可以看到,name的输出有一些打不出来,因为该网站对字母和数字和一些常用汉字做了反爬虫加密,例如A4A5,原标题是:【校招】。只要将加密的字符提取出来,并且做个查询就可以反向得到正确的字符,这方面的知识等以后有时间再写写。这里只是写出爬虫、并且将爬虫数据写入Excel文件的一个简单思路。对自己来说是个备忘作用,如果刚好对您有所帮助,那就再好不过了。

requests库功能很强大,下一步我希望能做出自动登录-登录以后自动完成一些工作,这才是我需要的功能!

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。