python网络爬虫程序_使用Python写的第一个网络爬虫程序

今天尝试使用python写一个网络爬虫代码，主要是想訪问某个站点，从中选取感兴趣的信息，并将信息依照一定的格式保存早Excel中。

此代码中主要使用到了python的以下几个功能，因为对python不熟悉，把代码也粘贴在以下。

1， 使用url打开站点网页

import urllib2

data = urllib2.urlopen(string_full_link).read().decode('utf8')print data

2，使用正則表達式匹配

import re

#一般的英文匹配

reg = """a href=\S* target='_blank' title=\S*"""

dicList = pile(reg).findall(data)

print dicList#中文的正则匹配，须要使用中文相应的unicode码

reg=u"\u5730\u5740\S*" #“地址”相应的 unicode code

addrList = pile(reg).findall(sub_data)print addrList

3，写数据到excel文件

import xlrd

import xlwt

file = xlwt.Workbook()

table = file.add_sheet('hk', cell_overwrite_ok=True)

print index, name, addr, tel

table.write(index, 0, name)

table.write(index, 1, addr)

table.write(index, 2, tel)

file.save("""D:\\test.xls""")