最小二乘法查看源代码讨论查看历史

来自 孔夫子旧书网 的图片

最小二乘法是中国的一个科技名词。

目前，世界上只有两种文字，一种是方块文字，如汉字、日文和韩文，还有历史上曾经出现过的西夏文、契丹文，喃字等；另外一种是字母文字，主要包括拉丁字母文字、阿拉伯字母文字、粟特字母文字等。

名词解释

最小二乘法是一种在误差估计、不确定度、系统辨识及预测、预报等数据处理诸多学科领域得到广泛应用的数学工具。

1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。只有时年24岁的高斯所计算的谷神星的轨道，被奥地利天文学家海因里希·奥尔伯斯的观测所证实，使天文界从此可以预测到谷神星的精确位置。同样的方法也产生了哈雷彗星等很多天文学成果。高斯使用的方法就是最小二乘法，该方法发表于1809年他的著作《天体运动论》中。其实法国科学家勒让德于1806年独立发明“最小二乘法”，但因不为世人所知而默默无闻。

1829年，高斯提供了最小二乘法的优化效果强于其他方法的证明。

定义

最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。

最小二乘法还可用于曲线拟合，其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

最小二乘估计量的特性

根据样本数据，采用最小二乘估计式可以得到简单线性回归模型参数的估计量。但是估计量参数与总体真实参数的接近程度如何，是否存在更好的其它估计式，这就涉及到最小二乘估计式或估计量的最小方差（或最佳）（Best）性、线性（Linear）及无偏（ Unbiased）性，简称为BLU特性。这就是广泛应用普通最小二乘法估计经济计量模型的主要原因。下面证明普通最小二乘估计量具有上述三特性。

1、线性特性

所谓线性特性，是指估计量分别是样本观测值的线性函数，亦即估计量和观测值的线性组合 。

2、无偏性

无偏性，是指参数估计量的期望值分别等于总体真实参数。

3、最小方差性

所谓最小方差性，是指估计量与用其它方法求得的估计量比较，其方差最小，即最佳。最小方差性又称有效性。这一性质就是著名的高斯一马尔可夫（ Gauss-Markov）定理。这个定理阐明了普通最小二乘估计量与用其它方法求得的任何线性无偏估计量相比，它是最佳的。