最小二乘法

來自 孔夫子舊書網 的圖片

最小二乘法是中國的一個科技名詞。

目前，世界上只有兩種文字，一種是方塊文字，如漢字、日文和韓文，還有歷史上曾經出現過的西夏文、契丹文，喃字等；另外一種是字母文字，主要包括拉丁字母文字、阿拉伯字母文字、粟特字母文字等。

目錄

名詞解釋

最小二乘法是一種在誤差估計、不確定度、系統辨識及預測、預報等數據處理諸多學科領域得到廣泛應用的數學工具。

1801年，意大利天文學家朱賽普·皮亞齊發現了第一顆小行星穀神星。經過40天的跟蹤觀測後，由於穀神星運行至太陽背後，使得皮亞齊失去了穀神星的位置。隨後全世界的科學家利用皮亞齊的觀測數據開始尋找穀神星，但是根據大多數人計算的結果來尋找穀神星都沒有結果。只有時年24歲的高斯所計算的穀神星的軌道，被奧地利天文學家海因里希·奧爾伯斯的觀測所證實，使天文界從此可以預測到穀神星的精確位置。同樣的方法也產生了哈雷彗星等很多天文學成果。高斯使用的方法就是最小二乘法，該方法發表於1809年他的著作《天體運動論》中。其實法國科學家勒讓德於1806年獨立發明「最小二乘法」，但因不為世人所知而默默無聞。

1829年，高斯提供了最小二乘法的優化效果強於其他方法的證明。

定義

最小二乘法（又稱最小平方法）是一種數學優化技術。它通過最小化誤差的平方和尋找數據的最佳函數匹配。利用最小二乘法可以簡便地求得未知的數據，並使得這些求得的數據與實際數據之間誤差的平方和為最小。

最小二乘法還可用於曲線擬合，其他一些優化問題也可通過最小化能量或最大化熵用最小二乘法來表達。

最小二乘估計量的特性

根據樣本數據，採用最小二乘估計式可以得到簡單線性回歸模型參數的估計量。但是估計量參數與總體真實參數的接近程度如何，是否存在更好的其它估計式，這就涉及到最小二乘估計式或估計量的最小方差（或最佳）（Best）性、線性（Linear）及無偏（ Unbiased）性，簡稱為BLU特性。這就是廣泛應用普通最小二乘法估計經濟計量模型的主要原因。下面證明普通最小二乘估計量具有上述三特性。

1、線性特性

所謂線性特性，是指估計量分別是樣本觀測值的線性函數，亦即估計量和觀測值的線性組合 。

2、無偏性

無偏性，是指參數估計量的期望值分別等於總體真實參數。

3、最小方差性

所謂最小方差性，是指估計量與用其它方法求得的估計量比較，其方差最小，即最佳。最小方差性又稱有效性。這一性質就是著名的高斯一馬爾可夫（ Gauss-Markov）定理。這個定理闡明了普通最小二乘估計量與用其它方法求得的任何線性無偏估計量相比，它是最佳的。