700字范文,内容丰富有趣,生活中的好帮手!
700字范文 > Python爬虫实战 requests模块 爬虫采集网易财经股票交易数据

Python爬虫实战 requests模块 爬虫采集网易财经股票交易数据

时间:2022-04-20 05:56:54

相关推荐

Python爬虫实战 requests模块 爬虫采集网易财经股票交易数据

前言

本文给大家分享的是如何通过Python爬虫采集网易财经易数据

开发工具

Python版本:3.8

相关模块:

requests模块

parsel模块

环境搭建

安装Python并添加到环境变量,pip安装需要的相关模块即可。

思路分析

本文以爬虫网易财经数据,讲解如何采集股票历史交易数据

爬取网易财经数据如下图所示:

财经数据

提取页面数据

浏览器中打开我们要爬取的页面

按F12进入开发者工具,查看我们想要的数据在哪里

这里我们需要股票页面数据就可以了

页面数据

代码实现

# 1. 发送请求response = requests.get(url)# 2. 获取数据json_data = response.json()# 3. 解析数据list = json_data['list'] # 所有的股票信息for i in list:# i 代表的是每一个股票的 信息SYMBOL = i['SYMBOL']NAME = i['NAME']PRICE = i['PRICE']PERCENT = i['PERCENT']UPDOWN = i['UPDOWN']FIVE_MINUTE = i['FIVE_MINUTE']OPEN = i['OPEN']YESTCLOSE = i['YESTCLOSE']HIGH = i['HIGH']LOW = i['LOW']VOLUME = i['VOLUME']TURNOVER = i['TURNOVER']HS = i['HS']try:LB = i['LB']except:LB = ""WB = i['WB']ZF = i['ZF']try:PE = i['PE']except:PE = ""TCAP = i['TCAP']MFSUM = i['MFSUM']MFRATIO2 = i['MFRATIO']['MFRATIO2']MFRATIO10 = i['MFRATIO']['MFRATIO10']print(SYMBOL, NAME, PRICE, PERCENT, UPDOWN, FIVE_MINUTE, OPEN, YESTCLOSE, HIGH, LOW, VOLUME, TURNOVER, HS, LB, WB, ZF, PE, TCAP, MFSUM, MFRATIO2, MFRATIO10)# 4. 保存数据csv_writer.writerow([SYMBOL, NAME, PRICE, PERCENT, UPDOWN, FIVE_MINUTE, OPEN, YESTCLOSE, HIGH, LOW, VOLUME, TURNOVER, HS, LB, WB, ZF, PE, TCAP, MFSUM, MFRATIO2, MFRATIO10])

结果展示

结果

在学习python中有任何困难不懂的可以微信扫描下方CSDN官方认证二维码加入ython交流学习

多多交流问题,互帮互助,这里有不错的学习教程和开发工具。

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。