GPT圖解
 |
《GPT圖解》，副標題：大模型是怎樣構建的，作者黃佳，責編蔣艷，定價79.80，ISBN號9787115623683，出版社人民郵電出版社，版印次1版 1次，開本16開，裝幀平裝，出版時間2023-12，印刷時間2023-12。
人民郵電出版社是全國優秀出版社、全國百佳圖書出版單位。人民郵電出版社出版領域涵蓋科技出版、教育出版、大眾出版，涉及信息技術、通信、工業技術、科普[1]、經濟管理、攝影、藝術、運動與休閒、心理學、少兒、大中專教材等10餘個出版門類，年出版圖書[2]近萬種。
目錄
內容簡介
人工智能（AI），尤其是生成式語言模型和生成式人工智能（AIGC）模型，正以驚人的速度改變着我們的世界。駕馭這股潮流的關鍵，莫過於探究自然語言處理（NLP）技術的深奧秘境。本書將帶領讀者踏上一段扣人心弦的探索之旅，讓其親身感受，並動手搭建語言模型。本書主要內容包括N-Gram，詞袋模型（BoW），Word2Vec（W2V），神經概率語言模型（NPLM），循環神經網絡（RNN），Seq2Seq（S2S），注意力機制，Transformer，從初代GPT到ChatGPT再到GPT-4等一系列突破性技術的誕生與演進。
本書將以生動活潑的筆觸，將枯燥的技術細節化作輕鬆幽默的故事和繽紛多彩的圖畫，引領讀者穿梭於不同技術的時空，見證自然語言處理技術的傳承、演進與蛻變。在這場不斷攀登技術新峰的奇妙之旅中，讀者不僅能深入理解自然語言處理技術的核心原理，還能自己動手，從零開始搭建起一個又一個語言模型。
無論你是在校學生還是人工智能從業者，這本書都將成為一盞明燈，照亮你探索人工智能無限奧秘的道路。
目錄
序章 看似尋常最奇崛，成如容易卻艱辛
GPT-4：點亮人工通用智能的火花
人工智能演進之路：神經網絡兩落三起
現代自然語言處理：從規則到統計
何為語言？信息又如何傳播？
NLP是人類和計算機溝通的橋樑
NLP技術的演進史
大規模預訓練語言模型：BERT與GPT爭鋒
語言模型的誕生和進化
統計語言模型的發展歷程
基於Transformer架構的預訓練模型
「預訓練+微調大模型」的模式
以提示 指令模式直接使用大模型
從初代GPT到ChatGPT，再到GPT-
GPT作為生成式模型的天然優勢
ChatGPT背後的推手——OpenAI
從初代GPT到ChatGPT，再到GPT-4的進化史
第 1課 高樓萬丈平地起：語言模型的雛形N-Gram和簡單文本表示Bag-of-Words
?1.1 N-Gram模型
?1.2 「詞」是什麼，如何「分詞」
?1.3 創建一個Bigram字符預測模型
?1.4 詞袋模型
?1.5 用詞袋模型計算文本相似度
小結
思考
第 2課 問君文本何所似： 詞的向量表示Word2Vec和Embedding
?2.1 詞向量 ≈ 詞嵌入
?2.2 Word2Vec：CBOW模型和Skip-Gram模型
?2.3 Skip-Gram模型的代碼實現
?2.4 CBOW模型的代碼實現
?2.5 通過nn.Embedding來實現詞嵌入
小結
思考
第3課 山重水複疑無路：神經概率語言模型和循環神經網絡
?3.1 NPLM的起源
?3.2 NPLM的實現
?3.3 循環神經網絡的結構
?3.4 循環神經網絡實戰
小結
思考
第4課 柳暗花明又一村：Seq2Seq編碼器-解碼器架構
?4.1 Seq2Seq架構
?4.2 構建簡單Seq2Seq架構
小結
思考
第5課 見微知着開慧眼：引入注意力機制
?5.1 點積注意力
?5.2 縮放點積注意力
?5.3 編碼器-解碼器注意力
?5.4 注意力機制中的Q、K、V
?5.5 自注意力
?5.6 多頭自注意力
?5.7 注意力掩碼
?5.8 其他類型的注意力
小結
思考
第6課 層巒疊翠上青天：搭建GPT核心組件Transformer
?6.1 Transformer架構剖析
?6.1.1 編碼器-解碼器架構
?6.1.2 各種注意力的應用
?6.1.3 編碼器的輸入和位置編碼
?6.1.4 編碼器的內部結構
?6.1.5 編碼器的輸出和編碼器-解碼器的連接
?6.1.6 解碼器的輸入和位置編碼
?6.1.7 解碼器的內部結構
?6.1.8 解碼器的輸出和Transformer的輸出頭
?6.2 Transformer代碼實現
?6.3 完成翻譯任務
?6.3.1 數據準備
?6.3.2 訓練Transformer模型
?6.3.3 測試Transformer模型
小結
思考
第7課 芳林新葉催陳葉：訓練出你的簡版生成式GPT
?7.1 BERT與GPT爭鋒
?7.2 GPT：生成式自回歸模型
?7.3 構建GPT模型並完成文本生成任務
?7.3.1 搭建GPT模型（解碼器）
?7.3.2 構建文本生成任務的數據集
?7.3.3 訓練過程中的自回歸
?7.3.4 文本生成中的自回歸（貪婪搜索）
?7.4 使用WikiText2數據集訓練Wiki-GPT模型
?7.4.1 用WikiText2構建Dataset和DataLoader
?7.4.2 用DataLoader提供的數據進行訓練
?7.4.3 用Evaluation Dataset評估訓練過程
?7.4.4 文本生成中的自回歸（集束搜索）
小結
思考
第8課 流水後波推前波：ChatGPT基於人類反饋的強化學習
?8.1 從GPT到ChatGPT
?8.2 在Wiki-GPT基礎上訓練自己的簡版ChatGPT
?8.3 用Hugging Face預訓練GPT微調ChatGPT
?8.4 ChatGPT的RLHF實戰
?8.4.1 強化學習基礎知識
?8.4.2 簡單RLHF實戰
小結
思考
第9課 生生不息的循環：使用強大的GPT-4 API
?9.1 強大的OpenAI API
?9.2 使用GPT-4 API
小結
思考
後 記 莫等閒，白了少年頭
參考文獻
- ↑ 100部科普經典名著，豆瓣，2018-04-26
- ↑ 圖書的演變歷史資料，學習啦，2017-06-07