使用线性回归构建波士顿房价预测模型
描述
波士顿房价数据集统计了波士顿地区506套房屋的特征以及它们的成交价格,这些特征包括周边犯罪率、房间数量、房屋是否靠河、交通便利性、空气质量、房产税率、社区师生比例(即教育水平)、周边低收入人口比例等 。我们的任务是根据上述数据集建立模型,能够预测房屋价格及其走势。
本任务涉及的主要实践内容:
1、 线性回归预测模型的构建
2、 模型的预测与评估
3、 使用matplotlib绘制房价预测曲线
源码下载
环境
操作系统:Windows 10、Ubuntu18.04
工具软件:Anaconda3 、Python3.7
硬件环境:无特殊要求
依赖库列表
matplotlib 3.3.4numpy 1.19.5pandas1.1.5scikit-learn0.24.2mglearn 0.1.9
分析
任务的输出(房价)是个连续值,因此这是一个回归问题,算法的目的是寻找房屋的特征数据和房价之间的规律(即回归函数)。
本任务涉及以下几个环节:
a)加载、查看波士顿房价数据集
b)将数据拆分为训练集与测试集
d)构建线性回归模型,拟合训练数据、
e)预测房价
f)评估模型
g)利用Matplotlib生成房价预测走势曲线
实施
1、加载、查看波士顿房价数据集
from sklearn.datasets import load_boston # 引入load_boston函数from sklearn.model_selection import train_test_split # 引入数据集拆分函数from sklearn.linear_model import LinearRegression # 引入LinearRegression类# 加载boston数据集boston = load_boston()print(boston.keys()) # 查看boston数据集的组成print(boston.data.shape) # 查看输入数据的形状-(506套房屋数据,每条数据包含13个特征值)print(boston.target.shape) # 查看标签数组的形状-(506套房屋的成交价格)print(boston.feature_names) # 查看特征名称(房屋的13个特征名称)
输出结果:
dict_keys(['data', 'target', 'feature_names', 'DESCR', 'filename'])(506, 13)(506,)['CRIM' 'ZN' 'INDUS' 'CHAS' 'NOX' 'RM' 'AGE' 'DIS' 'RAD' 'TAX' 'PTRATIO''B' 'LSTAT']
通过keys()函数可以查看数据集中有哪些Keys(即数据项),依次查看其数据项。
通过观察,我们可以看到,波士顿数据集的特征数据(data数组)包含506套房屋的数据,有“犯罪率”、“房间数量”、“房屋年龄”、“师生比”等13个特征值,这506套房屋对应的成交价格(即数据的标签)存放在target数组中。我们的任务是基于这506套房屋的交易数据建立一个回归模型,能够对波士顿地区的房价数据进行预测。(即寻找房屋的特征与房价之间的线性规律)
2、数据集拆分
# 将data和target随机拆分为训练集和测试集(test_size=0.25代表25%的数据作为测试集,75%为训练集)X_train, X_test, y_train, y_test = train_test_split(boston.data, boston.target, test_size=0.25, random_state=0)print(X_train.shape, X_test.shape) # 查看拆分结果print(y_train.shape, y_test.shape)
输出结果:
(379, 13) (127, 13)(379,) (127,) # 379+127=506
通过scikit-learn中的train_test_split函数将数据集随机拆分成训练集与测试集。注意掌握train_test_split函数的参数含义及返回值定义。另外,在机器学习中,一般用大写X_表示输入数据(即特征数据),小写的y_表示输出数据(即标签)。
3、创建线性回归模型,拟合训练数据
# 创建模型model = LinearRegression()# 拟合训练数据(即将特征数据和标签数据交给模型去训练)model.fit(X_train, y_train)# 注意:上面两步也可以合并写成这样# model = LinearRegression().fit(X_train, y_train)
注意:Scikit-learn中所有模型的使用都是同样的过程。因此,学习机器学习最重要的是在熟悉模型的思想原理、参数及优缺点的前提下,根据任务选择不同的模型来实现。
4、使用模型预测房屋价格
import numpy as np# 预测测试集的输出(即测试集中房屋的房价)y_pred = model.predict(X_test) print(y_pred[:10])# 预测前10套房屋的价格# 将预测结果与实际价格做对比print('\n预测价格:', np.round(y_pred[:10])) # np.round()-四舍五入取整print('实际价格:', np.round(y_test[:10]))
输出结果:
[10.92635315 34.36995076 30.80593435 43.33525222 19.107834 18.832695722.14409312 20.47370887 36.85094144 17.84471519]预测价格: [11. 34. 31. 43. 19. 19. 22. 20. 37. 18.]实际价格: [16. 44. 24. 50. 20. 20. 17. 22. 42. 13.]
在Scikit-learn中,模型的预测使用predict方法,但仅看预测结果我们无法得知模型的准确率,所以还需要进行模型的准确性评估。另外,我们还会使用Matplotlib绘图,将房价预测曲线与实际房价曲线做对比,结果一目了然。(Matplotlib是机器学习中不可或缺的可视化利器)
5、评估模型
# 使用score方法评估模型的成绩train_score = model.score(X_train, y_train) # 获得模型在训练集上的成绩test_score = model.score(X_test, y_test) # 获得模型在测试集上的成绩print('Train set score:', train_score)print('Test set score:', test_score)
输出结果:
Train set score: 0.7697699488741149Test set score: 0.635463843316
Scikit-learn中,模型的评估使用score方法,参数1为输入特征数据,参数2为标签(即实际房价)。本任务没有对数据进行预处理,经过预处理后模型的准确性还会有所提高。数据预处理(缩放)会有一个专门的章节讲述,届时我们会做个对比。
6、使用Matplotlib生成房价预测走势曲线
import matplotlib.pyplot as pltplt.figure(figsize=(10, 4)) # 设置画板尺寸plt.rcParams['font.sans-serif'] = 'FangSong' # 设置中文字体plt.title('波士顿房价预测曲线与实际曲线对比图', fontsize=15)x = range(len(y_test)) # x轴数据plt.plot(x, y_test, color='r', label='实际价格') # 实际价格曲线plt.plot(x, y_pred, color='g', ls='--', label='预测价格') # 预测价格曲线plt.legend(fontsize=12, loc=1) # 显示图例plt.show()
显示结果:
7、使用岭回归(Ridge)建模
LinearRegression(标准线性回归)、Ridge、Lasso都在sklearn.linear_model模块中。Ridge和Lasso回归是在标准线性回归函数中加入正则化项,以降低过拟合现象。
from sklearn.datasets import load_boston # 引入load_boston函数from sklearn.model_selection import train_test_split # 引入数据集拆分函数from sklearn.linear_model import Ridge # 引入Ridge模型# 加载boston数据集boston = load_boston()# 拆分数据集X_train, X_test, y_train, y_test = train_test_split(boston.data, boston.target, test_size=0.25, random_state=66)# 构建模型model = Ridge(alpha=10).fit(X_train, y_train)# 评估模型train_score = model.score(X_train, y_train)test_score = model.score(X_test, y_test)print('train score:{:.2f}'.format(train_score), '\ntest score:{:.2f}'.format(test_score))
输出结果:
train score:0.70 test score:0.81