基於深度強化學習的自動駕駛控制系統檢視原始碼討論檢視歷史

來自 搜狐網 的圖片

基於深度強化學習的自動駕駛控制系統據統計近年來我國由人為因素造成的交通事故占比高達94%，能實現無疲勞駕駛、無分心駕駛的自動駕駛技術愈發重要。自動駕駛領域中控制汽車行進的方向和速度是核心問題，但是傳統無人車控制算法的泛化性能並不強，難以完成一些複雜的任務，隨着科技的發展能直接建立端到端控制系統的深度強化學習逐漸被應用到自動駕駛控制系統中，深度強化學習免去了傳統算法需要建模的一系列過程，同時還具備不斷學習從而實時更新的能力，利用深度強化學習構建的無人駕駛控制系統普遍具有良好的泛化性能。本作品首先介紹了難點與創新點，進行了可行性分析，隨後研究了集成DDPG的深度強化學習算法，在仿真平台TORCS進行架構設計，最後進行仿真環境下的實驗，實驗表明集成DDPG相比DDPG得到的獎勵值更高且訓練過程更穩定。本作品設計了能夠在真實環境下進行測試的智能車平台，由於真實環境下各類因素較為複雜，所以本作品首先對採集到的圖像進行語義分割，然後將該算法移植到智能車平台上，測試了該算法的學習能力與泛化能力，最終結果表明本作品採用的算法設計的智能小車在道路上表現良好。

簡介

本作品將深度強化學習算法應用於自動駕駛的控制上，首先對深度強化學習算法進行了一定的創新，並將該算法在TORCS仿真平台上以儘可能接近真實道路環境進行模擬測試，然後在一款智能小車上進行實際場景的測試，且泛化能力良好。

自動駕駛汽車結合了多個複雜系統來感知周圍環境，規劃到達目的地的路徑，並控制轉向和速度，但在真實環境及車輛上研究相關算法消耗人力物力巨大，為此本作品開發了一款智能小車並配置了多傳感器，可作為自動駕駛及本作品所涉及到的深度強化學習算法的實驗平台。

對於無人駕駛控制領域，工業界傳統的控制算法雖然其表現效果良好，但其複雜的調參過程令人頭痛且對新場景的泛化能力相對較差。為此本作品所採用了深度強化學習算法。深度強化學習繼承了深度學習強大的特徵抽象、提取能力和強化學習優秀的決策控制能力，可以高效地實現對原始高維數據輸入的感知到直接控制輸出的端到端系統，收斂效果較好，並且對目標和場景進行泛化，僅需要微調便可應用於實際場景中。

原理分析與硬件電路圖

系統整體設計框圖

首先利用電子賣場上的普通材料設計了一款智能小車配備圖像傳感器用於實際環境下DRL的實驗，然後訓練了基於深度學習的圖像語義分割模型，處理從圖像傳感器採集到的原始圖像，得到當前道路狀態信息，再將經由TORCS仿真平台上訓練得到的深度強化學習端到端的模型移植到智能車上，將道路狀態信息輸入，輸出控制智能車的決策信息。

智能小車實驗平台總設計

實現DRL算法的實驗平台如下圖所示，與其他智能小車平台一樣（如麻省理工學院的適用複雜環境下的競速阿克曼轉向機器人與加州大學伯克利分校的第二代伯克利自動賽車），該平台將有助於在物理車輛系統上測試各種智能和自適應控制策略，從而為全尺寸智能車輛的進一步發展提供參考。為了在不花費太多時間在硬件調試上的情況下專注於DRL的研究並將本研究中獲得的經驗。

知識轉移到全尺寸智能車輛上，設計的智能小車平台採用市場上方便購買的普通零件。