感知与危险行为预警系统查看源代码讨论查看历史

来自 搜狐网 的图片

感知与危险行为预警系统辅助驾驶秘书——智能情绪感知与危险行为预警系统，据相关数据统计，在中国由于危险驾驶导致的交通事故案件每年约五十万起左右，造成数十万人死亡，其中大部分是自主性因素导致的意外发生，具体是指在非外力因素的情况下，由于司机自身的不当行为导致的交通事故，例如司机疲劳驾驶或各种分心行为（接打电话、看手机、抽烟、喝水等）。自主性行为导致的车祸因素主要包含三类：疲劳驾驶、分心行为和极端情绪。

第一类：疲劳驾驶。例如在高速公路上长途驾驶时，长时间的单独驾驶容易产生疲劳，疲劳状态一方面可能导致视线模糊，另一方面会产生生理机能和心理机能的失调，表现出驾驶技能下降的现象，影响驾驶人的注意力、感觉、判断、决策等诸方面。

第二类：分心行为。由于抱有侥幸心理，司机在驾驶期间经常会接打电话、看手机、喝水吃东西等，这些行为会分散驾驶人注意力，大大削弱应变能力，数据表明驾车打电话导致交通事故风险比通常高4倍，而吸烟比不吸烟高出1.5倍，而开车玩手机是正常开车的23倍。

第三类：极端情绪。司机的情绪状态也会对驾驶过程产生影响，比如处于悲伤，急躁的情绪时，更容易增加交通事故发生的风险。

如果事故发生之前驾驶员反应时间提前0.5s，就能避免60%左右的交通事故。所以，提出一种针对司机疲劳状态及危险行为的检测系统可以实时对司机行驶过程中的状态及危险动作做出检测，提示驾驶员危险情况，可以在很大程度上减少交通事故的发生。

本项目提出的基于树莓派的司机危险行为检测系统可在实现危险行为检测的基础上加入与终端交互功能，并对危险行为数据进行统计分析，该系统主要功能包括：

（1） 驾驶员身份识别，如果当前驾驶员与记忆库所有人脸均不匹配则将该信息发送至指定联系人；

（2） 司机行驶过程中危险行为（疲劳状态以及接打电话、吸烟等分心动作）检测、口罩检测及情绪识别，

（3） 针对不同检测结果进行报警提醒；

（4） 检测结果处理分析，与终端交互通信；

本系统能够有效减少因司机疲劳驾驶或分心而导致的交通事故，改善司机驾驶习惯，对道路交通安全的提升和车联网技术的发展具有重要意义。另外，本系统还具有体积小、成本低、准确率高、检测速度快等优点，便于推广和普及。

二、研究内容介绍

（1）疲劳状态识别

疲劳状态识别基于人脸识别技术采集到的面部特征，对输入的人脸图像或者视频流进行检测。首先判断其是否存在人脸，如果存在人脸，则给出人脸位置、大小和各个主要面部器官的位置信息，依据这些信息，进一步分析对比此时采集的人脸是否处于疲劳状态。

（2）分心动作及口罩检测

对采集到的训练集和测试集图像进行分析，统计数据样本分布，尺寸分布，图片形态等，做一些针对性的数据预处理算法，以更好地拟合数据。然后对数据进行分类处理，即分类出图像中人物吸烟、打电话的动作及是否佩戴口罩，基于该模型不断进行修改、调参，调试出性能较好的参数，实现高准确度识别。

（3）情绪识别

通过对采集到的驾驶员面部表情进行分析，利用训练好的模型判断驾驶员目前处于的情绪状态，具体包括"喜悦"、"悲伤"、"正常"等情绪状态，利用这些情绪识别结果可对车内环境进行智能调整，适应驾驶者的心情，或者在配备自动驾驶功能的车辆主动调整为自动驾驶模式。

本项目采取的技术方案为通过树莓派的摄像头采集司机驾驶过程中的图像，利用OpenCV实现人脸识别，训练相关识别模型，对驾驶员的疲劳状态、分心动作及情绪进行判断，并对检测结果进行处理，将采集到的驾驶状态信息传输到终端进行统计分析。

三、技术方案

3.1 问题分析

（1）驾驶员驾驶状态检测系统设计

考虑利用树莓派设计一个低成本，高性能的非接触式驾驶员驾驶状态检测系统。高清摄像头实时采集人脸数据，人脸识别系统首先需要进行陌生人检测，检测驾驶人是否为车主，若是车主，则开启驾驶员驾驶状态检测系统，否则将报警信息传送到后台车辆管理中心。所用驾驶员驾驶状态检测系统通过检测驾驶人的眼睛闭眼频率和嘴型并综合两个指标来对驾驶人的疲劳程度进行判断；通过驾驶员其他面部信息判断驾驶员情绪状态；通过驾驶员手势和其他肢体姿势判断驾驶员是否正处于打电话或者抽烟等状态，并将以上识别信息和车辆位置信息通知驾驶人，并发送至后台车辆管理中心或者驾驶人的亲属。

（2）人脸识别技术

人脸识别属于计算机视觉的一种，是基于人的脸部特征，对输入的人脸图像或者视频流，首先需要判断其是否存在人脸,如果存在人脸，则进一步的给出脸的位置、大小和各个主要面部器官的位置信息。并依据这些信息，进一步提取人脸中所蕴涵的身份特征，并将其与已知的人脸进行对比，从而识别每个人脸的身份。广义的人脸识别实际包括构建人脸识别系统的一系列相关技术，包括人脸图像采集、人脸定位、人脸识别预处理、身份确认以及身份查找等；而狭义的人脸识别特指通过人脸进行身份确认或者身份查找的技术或系统。人脸识别属于图像识别领域，通常涉及到庞大的神经网络，这对于内存有限的树莓派来说将其运行起来是非常困难的，为此，我们基于OpenCV的人脸识别库来实现狭义的人脸识别。OpenCV具备很强的计算效率，且专门用于实时应用，非常适合使用摄像头的实时人脸识别，使用OpenCV能够搭建一个树莓派驱动的人脸识别系统。

（3）驾驶状态检测

对于疲劳识别算法，使用深度学习的方法能够实现较高的准确率，但是深度学习由于网络结构复杂，不能够被内存小、运行速度较慢的树莓派所驱动，因此需要搭建一个简单有效的系统。使用眼形和口形的模型来判断疲劳被认为是一种有效的方法，该方法具有简单准确的特点，适合搭建一个能够被树莓派所驱动的疲劳检测系统。

（4）通信方案

疲劳检测系统需要将身份信息和疲劳信息发送到后台车辆管理中心或者与驾驶人亲属的移动终端，对于通信有很高的要求，可通过4G在不同接入技术之间进行全球漫游与互通。

3.2 总体技术方案

项目总体方案设计架构如图4所示，整个系统前端主要为基于图像采集的识别部分，用于检测驾驶员疲劳状态、分心动作、口罩佩戴及情绪，后端包括一个可接受信息传递的应用程序或服务器。图像识别采用的是OpenCV，OpenCV是一个强大的计算机视觉库，基于此开发准确的人脸及动作识别系统。使用PiCam 迷你摄像头模块能够采集到高清的图像数据，进行训练和识别。识别驾驶人身份后，若是陌生人则选择报警。系统接收到驾驶人的正确信息后开启检测，实时检测驾驶人的疲劳状态、动作及情绪，并把相关信息发送到后台。若发现异常情况则发出对应的警告提醒，并将驾驶人的位置信息以及相关信息发送至控制中心以及预设手机终端。