高維統計學檢視原始碼討論檢視歷史

來自 孔夫子網 的圖片

《高維統計學》，副標題：非漸近視角，[美] 馬丁·J.溫賴特（Martin J.Wainwright） 著，王成，劉衛東 譯，出版社： 機械工業出版社。

機械工業出版社成立於1950年，是建國後國家設立的第一家科技出版社，前身為科學技術出版社，1952年更名為機械工業出版社。機械工業出版社（以下簡稱機工社）由機械工業信息研究院作為主辦單位，目前隸屬於國務院國資委。

內容簡介

近年來，在所有科學學科和工業環境中收集的數據量和種類都出現了爆炸式增長。如此龐大的數據集給統計和機器學習領域的研究人員帶來了許多挑戰。本書對高維統計學進行了詳盡介紹，重點介紹核心方法論和理論，包括尾部界、集中不等式、一致律和經驗過程以及隨機矩陣。此外還深入探索了特定的模型類,包括稀疏線性模型、用秩約束矩陣模型、圖模型和各種類型的非參數模型。書中提供了數百個工作示例和練習，既適合統計學相關課程使用，也適合統計學、機器學習和相關領域的研究生與研究人員自學。

目錄

本書讚譽

譯者序

致謝

第1章　簡介1

1.1　經典理論和高維理論1

1.2　高維會產生什麼問題2

1.2.1　線性判別分析2

1.2.2　協方差估計4

1.2.3　非參數回歸6

1.3　高維中什麼能幫助我們8

1.3.1　向量的稀疏性8

1.3.2　協方差矩陣中的結構10

1.3.3　回歸形式的結構11

1.4　什麼是非漸近的觀點12

1.5　全書概述13

1.5.1　各章內容13

1.5.2　閱讀背景要求14

1.5.3　教學建議和流程圖15

1.6　參考文獻和背景16

第2章　基本尾部概率界和集中不等式18

2.1　經典的界18

2.1.1　從馬爾可夫不等式到Chernoff界18

2.1.2　次高斯隨機變量和Hoeffding界19

2.1.3　次指數隨機變量和Bernstein界22

2.1.4　一些單邊結果26

2.2　基於鞅的方法28

2.2.1　背景28

2.2.2　鞅差序列的集中度界30

2.3　高斯隨機變量的Lipschitz函數35

2.4　附錄A：次高斯隨機變量的等價性39

2.5　附錄B：次指數隨機變量的等價性42

2.6　參考文獻和背景43

2.7　習題44

第3章　測度集中度51

3.1　基於熵技巧的集中度51

3.1.1　熵及其相關性質51

3.1.2　Herbst方法及其延伸52

3.1.3　可分凸函數和熵方法54

3.1.4　張量化和可分凸函數56

3.2　集中度的幾何觀點58

3.2.1　集中度函數59

3.2.2　與Lipschitz函數的聯繫60

3.2.3　從幾何到集中度63

3.3　Wasserstein距離和信息不等式66

3.3.1　Wasserstein距離66

3.3.2　傳輸成本和集中不等式67

3.3.3　傳輸成本的張量化70

3.3.4　馬爾可夫鏈的傳輸成本不等式71

3.3.5　非對稱耦合成本72

3.4　經驗過程的尾部概率界75

3.4.1　一個泛函Hoeffding不等式75

3.4.2　一個泛函Bernstein不等式77

3.5　參考文獻和背景79

3.6　習題80

第4章　一致大數定律85

4.1　動機85

4.1.1　累積分布函數的一致收斂85

4.1.2　更一般函數類的一致定律87

4.2　基於Rademacher複雜度的一致定律90

4.3　Rademacher複雜度的上界94

4.3.1　多項式識別的函數類94

4.3.2　Vapnik-Chervonenkis維數96

4.3.3　VC維數的控制99

4.4　參考文獻和背景100

4.5　習題101

第5章　度量熵及其用途104

5.1　覆蓋和填裝104

5.2　高斯複雜度和Rademacher複雜度113

5.3　度量熵和次高斯過程115

5.3.1　一步離散化的上確界116

5.3.2　離散化界的例子117

5.3.3　鏈方法和Dudley熵積分119

5.4　一些高斯比較不等式123

5.4.1　一般的比較不等式結果123

5.4.2　Slepian和Sudakov-Fernique不等式125

5.4.3　高斯收縮不等式126

5.5　Sudakov下界127

5.6　鏈方法和Orlicz過程128

5.7　參考文獻和背景131

5.8　習題132

第6章　隨機矩陣和協方差估計136

6.1　預備知識136

6.1.1　符號和基本結果136

6.1.2　協方差矩陣估計問題137

6.2　Wishart矩陣及其性質138

6.3　次高斯總體的協方差矩陣141

6.4　一般矩陣的界144

6.4.1　矩陣分析背景知識144

6.4.2　矩陣的尾部條件145

6.4.3　矩陣Chernoff方法和獨立分解147

6.4.4　隨機矩陣的上尾部概率界149

6.4.5　協方差矩陣的結果153

6.5　帶結構的協方差矩陣的界154

6.5.1　未知稀疏與截斷155

6.5.2　漸近稀疏157

6.6　附錄：定理6.1的證明159

6.7　參考文獻和背景161

6.8　習題162

第7章　高維情形下的稀疏線性模型167

7.1　問題及應用167

7.1.1　不同的稀疏模型167

7.1.2　稀疏線性模型的應用168

7.2　無噪情形下的還原171

7.2.1　1鬆弛172

7.2.2　精確還原和限制零空間172

7.2.3　限制零空間的充分條件174

7.3　有噪情形下的估計178

7.3.1　受限特徵值條件178

7.3.2　嚴格稀疏模型下的2誤差界180

7.3.3　隨機設計矩陣的受限零空間和特徵值183

7.4　預測誤差的界186

7.5　變量或子集選擇188

7.5.1　Lasso的變量選擇相合性188

7.5.2　定理7.21的證明191

7.6　附錄:定理7.16的證明193

7.7　參考文獻和背景195

7.8　習題197

第8章　高維下的主成分分析204

8.1　主成分和降維204

8.1.1　PCA的解釋和應用205

8.1.2　特徵值和特徵空間的擾動208

8.2　一般特徵向量的界209

8.2.1　一個一