700字范文,内容丰富有趣,生活中的好帮手!
700字范文 > python3 [爬虫入门实战]爬虫之mongoDB数据库的安装配置与可视化

python3 [爬虫入门实战]爬虫之mongoDB数据库的安装配置与可视化

时间:2019-09-20 07:16:51

相关推荐

python3 [爬虫入门实战]爬虫之mongoDB数据库的安装配置与可视化

从安装过程到可视化工具可查看数据信息,历时两天,昨天坐了一天的火车,今天早上才到的青岛–> 来放松心情。

前天说是要学习如何使用mongoDB的链接与安装。

到今天过去了将一天, 不过还是在函兮的唠叨下慢慢的安装好了,确实来之不易,一脸懵逼

安装环境: wind10 还是盗版的 磁盘分析:只有一个C盘,

步骤:

1 . 下载

/downloads

这里下载了对应的msi文件,貌似.zip文件没有了

2 我默认把mongoDB安装到c盘下的目录:C:\Program Files\MongoDB\Server\3.4\bin

3 一开始是没有进行mongdb dbpath 和dblog的配置项,所以会出现 :

由于目标计算机积极拒绝,无法连接

上述问题主要是mongdb没有配置好的原因

4 mongodb 目录文件的配置

cd : C:\Program Files\MongoDB\Server\3.4\bin

到该bin下

输入:mongod.exe –dbpath=C:\data\db

这里的路径可以自由设置

5 再进行dblog的配置,

也是在bin目录下:mongod.exe –dbpath=C:\data\log\mongodb.log

6 检查一下配置是否正常

当然也是在bin下进行:mongo

配置成功的标志:

7最后再把mongoDB添加到Windows Service里面

同样也是cd到bin下:

输入:cd D:\mongodb\bin目录下,执行

mongod.exe –dbpath=C:\data\db –logpath=c:data\log\log.txt –install –serviceName “MongoDB”

进行查看:

启动,关闭服务:

关闭服务:net stop mongodb

这里用的可视化工具:对比了下:

MongoChef

觉着这个应该挺不错的,虽然现阶段我只会一个查看数据的操作:

以上就是mongodb的简单配置,在python3中代码可见的部分:

基础存储部分:

#encoding=utf8import requestsimport re# 导入mongo 数据库import pymongoimport json# 打开数据库连接,mongodb默认端口为27017conn = pymongo.MongoClient(host='localhost',port=27017)# 选择或创建数据库toutiao = conn['toutiao']# 选择或者创建数据集合newsdata = toutiao['news']toutiaoUrl = '/api/pc/focus/'reqData = requests.get(toutiaoUrl).textprint(reqData)jsonData = json.loads(reqData)newsData = jsonData['data']['pc_feed_focus']# 存储到数据库for new in newsData:title = new['title']img_url = new['image_url']url = new['media_url']data = {'title':title,'img_url':img_url,'url':url}# 插入一行数据newsdata.insert_one(data)for i in newsdata.find():# 从数据库中读取出来print('i'+str(i))

以上的注释都清楚,以后用的mongodb更多功能再进行扩展。

这就是基本的mongodb数据存储,接下来要学习selenium 和 scraper进行数据爬取操作,加快脚步。

新博客地址:/xudailong_blog

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。