目录
1.最小二乘法曲线拟合原理
2.最小二乘法的随机误差模型
3.最小二乘法的Matlab实现
3.1 生成随机数据
3.2 构建最小二乘模型
3.3 求解参数
3.4 绘图验证
4.最小二乘法的应用实例
1.最小二乘法曲线拟合原理
最小二乘法是一种曲线拟合的方法,用于找到一条曲线,使其在给定的离散点集中大致“最佳地”拟合这些点。所谓“最佳”是指使得这些点到曲线的距离之和最小。
最小二乘法通过求解一组已知离散点集(xi,yi),找到一条y=f(x)的曲线方程,使得点集中每个点到曲线的距离的平方和最小。
不失一般性,我们这里以二次函数曲线y=ax2+bx+c为例进行说明。根据最小二乘法原理,我们需要找到a,b,c的值,使得离散点与曲线之间误差平方和最小,即:
E=(y1-ax1^2-bx1-c)^2+(y2-ax2^2-bx2-c)^2+...+(yn-axn^2-bxn-c)^2 →最小
对a,b,c求导,并令导数等于0,Solve出a,b,c的参数,即可得到最小二乘法求解的曲线方程。
2.最小二乘法的随机误差模型
在实际问题中,我们观测到的离散点往往不是曲线上的精确点,而是带有误差的估计点。我们可以看作观测值是真值与随机误差之和:
yi=f(xi)+ei (i=1,2,...,n)
其中ei表示第i个观测点的随机误差,满足均值为0,方差为σ2。
基于此误差模型,我们构造的最小二乘模型的目标函数为:
E = ∑[yi - f(xi)]2 = ∑ ei2→最小
即最小化随机误差的方差和。
3.最小二乘法的Matlab实现
3.1 生成随机数据
这里我们生成9个数据点(xi,yi),xi在0-1区间均匀分布,yi=2*xi+0.5+噪声。噪声ei服从均值为0,方差为1的正态分布。
```matlab
n = 9; % 数据点个数
x = linspace(0, 1, n); % x均匀分布在0-1区间
y = 2*x + 0.5; % 真实数据
e = randn(n, 1); % 随机误差
y = y + e; % 观测数据
```
3.2 构建最小二乘模型
我们这里选用一元二次曲线y=ax2+bx+c进行拟合。根据最小二乘法原理,目标函数为:
E = ∑(yi - axi2 - bxi - c)2 (1)
3.3 求解参数
将(1)方程对a,b,c求导并令导数等于0,解出三个参数的值:
a = ∑(xi2yi - nxiȳ - xiȳi)/∑(xi4 - nxi2ȳ2 + nȳ2)
b = ∑(xi3yi - xiȳ2 - xi2ȳi)/∑(xi2 - ȳ2)
c = ȳ - bȳ - aȳ2
其中,ȳ = (y1 + y2 + ... + yn)/n,ȳi = (xiy1 + x2y2 + ... + xny1)/n
3.4 绘图验证
将观测数据点与拟合曲线作图,看是否拟合效果良好。
```matlab
x1 = 0:0.1:1; % 自变量分布
y1 = a.*x1.^2 + b.*x1 + c; % 拟合曲线
figure
plot(x,y,'o',x1,y1) % 画观测数据点及拟合曲线
xlabel('x');ylabel('y') % 添加坐标轴标签
```
4.最小二乘法的应用实例
最小二乘法在很多领域有广泛应用,如回归分析、插值等。这里给出一个简单应用实例:
利用8个数据点{(1,6),(2,4),(3,3),(4,4),(5,6),(6,9),(7,12),(8,14)}利用最小二乘法进行曲线拟合,并对x=9时的y值进行预测。
解:输入数据点,调用matlab最小二乘法程序求得拟合曲线方程:
y=0.072x^2-0.48x+6.22
对x=9代入,得y=16.34
所以x=9时的y值为16.34
预测结果与实际值(14)有一定误差,这是由于数据中存在随机噪声所致,但利用最小二乘法拟合的曲线总体上可以较好地反映数据变化趋势,因此其预测结果也是可靠的。
综上,最小二乘法通过求解使误差平方和最小的一组参数,找到最佳拟合给定离散点集的曲线方程。它是数理统计中重要的Regression方法,在统计学和工程技术等领域有着广泛的应用。
