今天学习学得头大，放松之余，水一篇文章好了——
用python爬虫豆瓣电影TOP100的简易信息
要收集的信息包括：每部电影的标题、导演、上映年份、评分以及引用。
环境：python 2.7
系统：macOS 10.13.1
模块：BeautifulSoup、requests、pandas
过程很简单，分析一下网页结构，然后用BeautifulSoup分分钟写好呀：
from BeautifulSoup import BeautifulSoup
import requests
import pandas as pd
movies = []
N = 1
for i in range(4): # 每页25部电影，共需搜索4页
page = requests.get('/top250?start={}&filter='.format(i))
soup = BeautifulSoup(page.text) # 用BeautifulSoup对html源码进行处理
info_list = soup.findAll('ol')[0].findAll('li') # 观察可知电影信息在第1个
标签的各个标签里
for info in info_list:
movie = {
'ranking':str(N),
'title':info.find('span', attrs={'class':'title'}).text, # title在class为"title"的标签里
'rating_num':info.find('span', attrs={'class':'rating_num'}).text, # 如上
'quote':info.find('span', attrs={'class':'inq'}).text, # 如上
'director':str(info.find('p')).split('导演: ')[1].split('')[0], # 导演信息在字符串中，需要特殊提取
'year':str(info.find('p')).split('
')[-1].strip().split('&')[0] # 同上
}
movies.append(movie)
N += 1
df = pd.DataFrame(movies)[['ranking', 'title', 'rating_num', 'year', 'director', 'quote']] # 指定DataFrame的列的顺序
df.to_csv('douban_movie.csv', encoding='utf-8', index=False)
最后输出到douban_movie.csv里，打开后是这样的~
今天先做个代码的储备，以后如果要收集影评做一些情感分析的话，就方便一些了。
如果想收集电影更多的信息，比如说影评之类的，那么就要在创建movie字典之前，从info里提取电影页的url并用request获得html源码，再提取一下就好啦。
