python爬取网页有乱码怎么解决_python - 爬虫获取网站数据 出现乱码怎么解决。...

问 题

#!/usr/bin/python

# -*- coding: utf-8 -*-

import urllib2

import re

import HTMLParser

class WALLSTREET:

def __init__(self, baseUrl):

self.url = baseUrl

def get_html_content(self):

url = self.url

response = urllib2.urlopen(url)

str = response.read()

print str

baseUrl="/live/global" #华尔街见文url

ws = WALLSTREET(baseUrl)

ws.get_html_content()

以上是代码，写的很简单，但是print出来的是乱码

尝试了 print str.decode(“utf-8“”)

但是报错

UnicodeDecodeError: 'utf8' codec can't decode byte 0x8b in position 1: invalid start byte

解决方案

str = response.read()这句有两个问题：

1、str是内置关键字必须更改为其他变量名

2、查看网页源代码的编码方式，如果为utf-8在read()后加.decode('utf-8')，若为其他可以相应解码

小建议这种小程序写个函数会比用类来更加方便，无论是使用还是实现

扫一扫关注IT屋

微信公众号搜索 “ IT屋 ” ，选择关注与百万开发者在一起