信息幾何及其應用

來自 孔夫子舊書網 的圖片

《信息幾何及其應用》，[日] 甘利俊一（Shun-ichi Amari） 著，何元智 譯，出版社： 科學出版社。

內容簡介

本書的翻譯和出版為國內讀者提供了一個了解信息幾何領域知識的媒介，可作為高等院校數學、信息科學等專業本科、研究生教材或學習參考書，也可供從事數學和信息科學等相關學科研究人員參考。希望讀者可以通過閱讀本書了解信息幾何的基礎知識、理論框架和應用方法，並進行研究與探討，用於解決實際問題。

目錄

第一部分散度函數的幾何：對偶平坦的黎曼結構

第1章流形、散度、對偶平坦結構3

1.1流形3

1.1.1流形及坐標系3

1.1.2流形示例4

1.2兩點之間的散度8

1.2.1散度8

1.2.2散度的例子9

1.3凸函數和布雷格曼散度10

1.3.1凸函數10

1.3.2布雷格曼散度11

1.4勒讓德變換13

1.5由凸函數導出的對偶平坦黎曼結構16

1.5.1仿射和對偶仿射坐標系16

1.5.2切空間、基向量和黎曼度量17

1.5.3向量平移20

1.6廣義勾股定理和投影定理20

1.6.1廣義勾股定理20

1.6.2投影定理22

1.6.3子流形之間的散度：交替最小化算法23

第2章概率分布的指數族和混合族26

2.1概率分布的指數族26

2.2指數族例子：高斯分布和離散分布28

2.2.1高斯分布29

2.2.2離散分布29

2.3概率分布的混合族31

2.4平坦結構：e-平坦和-平坦32

2.5關於概率分布的無限維流形33

2.6核指數族36

2.7布雷格曼散度和指數族37

2.8勾股定理的應用38

2.8.1…熵原理38

2.8.2互信息39

2.8.3重複觀測值和…似然估計值40

第3章概率分布流形的不變幾何43

3.1不變性標準43

3.2粗粒化下的信息單調性44

3.2.1粗粒化和Sn的充分統計量44

3.2.2不變散度45

3.3Sn中f-散度的例子48

3.3.1KL散度48

3.3.2χ2-散度48

3.3.3α-散度48

3.4f-散度和KL散度的基本性質49

3.4.1f-散度的性質49

3.4.2KL散度的性質50

3.5Fisher信息：唯一不變的度量52

3.6正測度流形中的f-散度56

第4章α-幾何、Tsallisq-熵與正定矩陣59

4.1不變平坦散度59

4.1.1KL散度具有唯一性59

4.1.2α-散度在*中具有唯一性59

4.2Sn和*的α-幾何62

4.2.1Rn+中的α-測地線和α-勾股定理62

4.2.2Sn中的α-測地線63

4.2.3Sn中的α-勾股定理和α-投影定理63

4.2.4α-散度的分配64

4.2.5α-均值64

4.2.6α-概率分布族67

4.2.7α-積分的…性69

4.2.8專家α-積分應用70

4.3Tsallisq-熵的幾何71

4.3.1q-對數和q-指數函數71

4.3.2概率分布的q-指數族(α-族)72

4.3.3q-伴隨幾何73

4.3.4變形指數族：χ-伴隨幾何75

4.3.5q-伴隨幾何的共形特徵77

4.4(u,v)-散度：正測度流形中的對偶平坦散度78

4.4.1可分解(u,v)-散度78

4.4.2*中的一般(u,v)平坦結構81

4.5正定矩陣流形的不變平坦散度82

4.5.1Gl(n)下的布雷格曼散度和不變性82

4.5.2O(n)的不變平坦可分解散度83

4.5.3非平坦不變散度86

4.6其他各項散度.87

4.6.1γ-散度87

4.6.2其他類型的(α,β)-散度.87

4.6.3Burbea-Rao散度和Jensen-Shannon散度88

4.6.4(ρ,τ)結構和(F,G,H)-結構88

第二部分對偶微分幾何導論

第5章微分幾何元素93

5.1流形和切空間93

5.2黎曼度量95

5.3仿射聯絡95

5.4張量97

5.5協變導數99

5.6測地線100

5.7向量平移101

5.8黎曼-克里斯托費爾…率102

5.8.1向量的環球移動102

5.8.2協變導數與RC…率105

5.8.3平坦流形106

5.9Levi-Civita聯絡106

5.10子流形和嵌入…率108

5.10.1子流形108

5.10.2嵌入…率110

第6章對偶仿射聯絡與對偶平坦流形113

6.1對偶聯絡113

6.2由散度導出的度量和三階張量115

6.3不變度量和三階張量117

6.4α-幾何117

6.5對偶平坦流形118

6.6對偶平坦流形中的正則散度119

6.7對偶聯絡一般流形上的正則散度122

6.8平坦流形與混合坐標的對偶葉理124

6.8.1對偶坐標系統的k-劃分：混合坐標與葉理124

6.8.2正則散度的分解126

6.8.3一個簡單的說明性例子：神經放電126

6.8.4神經元尖峰的高階相互作用128

6.9系統複雜性和信息集成130

6.10經濟學中的投入產出分析137

第三部分統計推斷的信息幾何學

第7章統計推斷的漸近理論143

7.1估計143

7.2指數族的估計144

7.3…線指數族的估計145

7.4估計的一階漸近理論148

7.5估計的高階漸近理論150

7.6假設檢驗的漸近理論152

第8章隱變量存在時的估計155

8.1EM算法155

8.1.1具有隱變量的統計模型155

8.1.2模型流形和數據流形之間的最小化散度158

8.1.3期望…化算法159

8.1.4示例：混合高斯160

8.2數據縮減造成的信息損失160

8.3基於錯誤統計模型的估計161

第9章Neyman-Scott問題：估計函數和半參數統計模型165

9.1包含冗餘參數的統計模型165

9.2Neyman-Scott問題和半參數168

9.3估計函數171

9.4估計函數的信息幾何173

9.5Neyman-Scott問題的解法179

9.5.1指數情況下的估計函數179

9.5.2線性相關係數180

9.5.3標量問題182

9.5.4單個神經元的時間放電模式184

第10章線性系統和時間序列187

10.1固定時間序列和線性系統187

10.2典型時間序列的有限維流形189

10.3系統流形的對偶幾何結構190

10.4AR,MA,ARMA模型的幾何圖形194

第四部分信息幾何學的應用

第11章機器學習.201

11.1聚類模式201

11.1.1模式空間和散度201

11.1.2聚類中心.202

11.1.3k-均值：聚類算法203

11.1.4Voronoi圖204

11.1.5分類和聚類的隨機版本205

11.1.6魯棒的聚類中心207

11.1.7模式識別中錯誤概率的漸近評估：切爾諾夫信息209

11.2支持向量機幾何211

11.2.1線性分類器211

11.2.2嵌入高維空間213

11.2.3核方法214

11.2.4由核導出的黎曼度量215

11.3隨機推理：置信傳播和凹凸計算過程算法217

11.3.1圖形模型217

11.3.2平均場近似和m-投影219

11.3.3置信傳播222

11.3.4BP算法求解224

11.3.5凹凸計算過程226

11.4Boosting的信息幾何227

11.4.1Boosting：弱機器集成227

11.4.2機器的隨機解釋228

11.4.3構建新弱機器229

11.4.4弱機器權值的確定229

11.5貝葉斯推理和深度學習231

11.5.1指數族中的貝葉斯對偶性231

11.5.2受限玻爾茲曼機233

11.5.3受限玻爾茲曼機的無監督學習235

11.5.4對比散度的幾何學238

11.5.5高斯受限玻爾茲曼機240

第12章奇異區域中的自然梯度學習及其動態243

12.1自然梯度隨機下降學習243

12.1.1在線學習和批量學習243

12.1.2自然梯度：黎曼流形中最陡的下降方向245

12.1.3黎曼度量、Hessian和絕對Hessian248

12.1.4優化問題的隨機鬆弛249

12.1.5強化學習中的自然策略梯度249

12.1.6鏡面下降和自然梯度252

12.1.7自然梯度學習的性質252

12.2學習中的奇點：多層感知器257

12.2.1多層感知器258

12.2.2M中的奇點259

12.2.3M中的學習動態263

12.2.4動態的臨界減速266

12.2.5自然梯度學習不存在高原269

12.2.6奇異統計模型270

12.2.7貝葉斯推理和奇異模型272

第13章信號處理和優化275

13.1主成分分析275

13.1.1特徵值分析275

13.1.2主成分、次成分與白化276

13.1.3主次成分動態性278

13.2獨立成分分析281

13.3非負矩陣分解291

13.4稀疏信號處理294

13.4.1線性回歸與稀疏解294

13.4.2L1約束下凸函數的極小化296

13.4.3求解路徑分析298

13.4.4閔可夫斯基梯度流300

13.4.5欠定情況301

13.5凸規劃的優化302

13.5.1凸規劃302

13.5.2由障礙函數推導出的對偶平面結構303

13.5.3計算複雜度和m-…率304

13.6源自博弈論的對偶幾何305

13.6.1博弈得分的最小化305

13.6.2Hyvarinen得分309

參考文獻314

《現代數學譯叢》已出版書目329