支持向量機

來自 站酷網 的圖片

支持向量機（Support Vector Machine,SVM）是一類按監督學習（supervised learning）方式對數據進行二元分類的廣義線性分類器（generalized linear classifier），其決策邊界是對學習樣本求解的最大邊距超平面（maximum-margin hyperplane）。

SVM使用鉸鏈損失函數（hinge loss）計算經驗風險（empirical risk）並在求解系統中加入了正則化項以優化結構風險（structural risk），是一個具有稀疏性和穩健性的分類器。SVM可以通過核方法（kernel method）進行非線性分類，是常見的核學習（kernel learning）方法之一。

SVM被提出於1964年，在二十世紀90年代後得到快速發展並衍生出一系列改進和擴展算法，在人像識別、文本分類等模式識別（pattern recognition）問題中有得到應用。

歷史

SVM是由模式識別中廣義肖像算法（generalized portrait algorithm）發展而來的分類器，其早期工作來自前蘇聯學者Vladimir N.Vapnik和Alexander Y.Lerner在1963年發表的研究。1964年，Vapnik和Alexey Y.Chervonenkis對廣義肖像算法進行了進一步討論並建立了硬邊距的線性SVM。此後在二十世紀70-80年代，隨着模式識別中最大邊距決策邊界的理論研究、基於鬆弛變量（slack variable）的規劃問題求解技術的出現，和VC維（Vapnik-Chervonenkis dimension,VC dimension）的提出，SVM被逐步理論化並成為統計學習理論的一部分[1]。1992年，Bernhard E.Boser、Isabelle M.Guyon和Vapnik通過核方法得到了非線性SVM。1995年，Corinna Cortes和Vapnik提出了軟邊距的非線性SVM並將其應用於手寫字符識別問題，這份研究在發表後得到了關注和引用，為SVM在各領域的應用提供了參考。