基于深度强化学习的自动驾驶控制系统查看源代码讨论查看历史

来自 搜狐网 的图片

基于深度强化学习的自动驾驶控制系统据统计近年来我国由人为因素造成的交通事故占比高达94%，能实现无疲劳驾驶、无分心驾驶的自动驾驶技术愈发重要。自动驾驶领域中控制汽车行进的方向和速度是核心问题，但是传统无人车控制算法的泛化性能并不强，难以完成一些复杂的任务，随着科技的发展能直接建立端到端控制系统的深度强化学习逐渐被应用到自动驾驶控制系统中，深度强化学习免去了传统算法需要建模的一系列过程，同时还具备不断学习从而实时更新的能力，利用深度强化学习构建的无人驾驶控制系统普遍具有良好的泛化性能。本作品首先介绍了难点与创新点，进行了可行性分析，随后研究了集成DDPG的深度强化学习算法，在仿真平台TORCS进行架构设计，最后进行仿真环境下的实验，实验表明集成DDPG相比DDPG得到的奖励值更高且训练过程更稳定。本作品设计了能够在真实环境下进行测试的智能车平台，由于真实环境下各类因素较为复杂，所以本作品首先对采集到的图像进行语义分割，然后将该算法移植到智能车平台上，测试了该算法的学习能力与泛化能力，最终结果表明本作品采用的算法设计的智能小车在道路上表现良好。

简介

本作品将深度强化学习算法应用于自动驾驶的控制上，首先对深度强化学习算法进行了一定的创新，并将该算法在TORCS仿真平台上以尽可能接近真实道路环境进行模拟测试，然后在一款智能小车上进行实际场景的测试，且泛化能力良好。

自动驾驶汽车结合了多个复杂系统来感知周围环境，规划到达目的地的路径，并控制转向和速度，但在真实环境及车辆上研究相关算法消耗人力物力巨大，为此本作品开发了一款智能小车并配置了多传感器，可作为自动驾驶及本作品所涉及到的深度强化学习算法的实验平台。

对于无人驾驶控制领域，工业界传统的控制算法虽然其表现效果良好，但其复杂的调参过程令人头痛且对新场景的泛化能力相对较差。为此本作品所采用了深度强化学习算法。深度强化学习继承了深度学习强大的特征抽象、提取能力和强化学习优秀的决策控制能力，可以高效地实现对原始高维数据输入的感知到直接控制输出的端到端系统，收敛效果较好，并且对目标和场景进行泛化，仅需要微调便可应用于实际场景中。

原理分析与硬件电路图

系统整体设计框图

首先利用电子卖场上的普通材料设计了一款智能小车配备图像传感器用于实际环境下DRL的实验，然后训练了基于深度学习的图像语义分割模型，处理从图像传感器采集到的原始图像，得到当前道路状态信息，再将经由TORCS仿真平台上训练得到的深度强化学习端到端的模型移植到智能车上，将道路状态信息输入，输出控制智能车的决策信息。

智能小车实验平台总设计

实现DRL算法的实验平台如下图所示，与其他智能小车平台一样（如麻省理工学院的适用复杂环境下的竞速阿克曼转向机器人与加州大学伯克利分校的第二代伯克利自动赛车），该平台将有助于在物理车辆系统上测试各种智能和自适应控制策略，从而为全尺寸智能车辆的进一步发展提供参考。为了在不花费太多时间在硬件调试上的情况下专注于DRL的研究并将本研究中获得的经验。

知识转移到全尺寸智能车辆上，设计的智能小车平台采用市场上方便购买的普通零件。