【2021研电赛】Arm命题二等奖：基于Tengine-Lite 的交通标志物识别自动驾驶方案

本作品介绍参与极术社区的有奖征集|分享研电赛作品扩大影响力，更有重磅电子产品免费领取!

团队介绍

参赛单位：上海电力大学
参赛队伍：肝成果小组
指导老师：仝明磊唐敏
参赛队员：刘林嵩张凌慷胡巧遇
获奖情况：Arm命题全国二等奖

1.作品简介

随着人工智能的发展，对安全、环保的社会出行环境提出了更高的要求，由于自动驾驶技术可防止车辆驾驶员人为因素引起的各种交通事故，合理管控、调节道路交通流量，改善道路通行状况，提高道路的通行能力，具有广阔的发展应用前景和极大的社会效益。
在自动驾驶任务中检测汽车前方路况、识别交通标识及障碍物十分重要，对自动驾驶汽车发展具有非常重要的意义。本项目基于EAIDK-310嵌入式开发板，提出了一种自动驾驶方案，设计了一款智能小车。智能小车由软件搭载和硬件组装构成：其中软件部分包括搭载在EAIDK-310上的目标检测模块和语音识别模块；硬件组装包括搭载在STM32上的舵机驱动模块、电机驱动模块以及CCD寻线模块。

主要工作在于：
1.根据赛道实景自行采集并标注数据集用于训练网络，完成基于SSD算法检测模型的搭建，在嵌入式平台EAIDK-310上使用Tengine-Lite预测，平均帧率达到20Hz，精确识别到交通标识物、信号灯及行人，检测精度可达95%；
2.STM32使用线性CCD模块巡线，结合EAIDK310主控板所发出的指令，完成对环境中动态目标的检测及识别，使小车完成自动检测周边环境的任务。
3.使用麦克风接受语音信号，通过语音识别模块识别语音信息并控制小车做出相应动作。
本方案的创新点在于在信号灯识别时，摒弃了单纯深度学习方法，采取深度学习与传统图像处理方法相结合的方式来解决。在数据集标注时将红灯和绿灯标记为信号灯一类，使用SSD模型检测信号灯位置，大大降低了检测难度。然后将检测到的box框区域进行横向三等分，通过比较最右端（绿灯区域）和最左端（红灯区域）的平均亮度值大小来区分红绿灯。

2.作品方案

本项目基于EAIDK-310嵌入式开发板，提出了一种自动驾驶方案，设计了一款智能小车。智能小车由软件搭载和硬件组装构成：其中软件部分包括搭载在EAIDK-310上的目标检测模块和语音识别模块；硬件组装包括搭载在STM32上的舵机驱动模块、电机驱动模块以及CCD寻线模块。

算法流程图

在实现交通灯检测，交通标志检测和行人检测功能时，我们采用了深度学习的方法。选用模型小、检测速度快的SSD目标检测算法，以VGG16网络作为backbone进行特征提取。我们在实验室环境中搭建赛道，随机采集了2000张包含各种交通标识、红绿灯、行人的图片，对其进行标注。在pc端将数据增强后的数据集送入SSD目标检测网络进行训练得到pth模型文件，使用Tengine提供的转换工具将其转换为Tmfile模型，使用Tengine-Lite在EAIDK310平台上进行部署。

3.创新点

我们在实现红绿灯识别功能时。我们采取深度学习与传统图像处理方法相结合的方式。在数据集标注时将红灯和绿灯标记为交通灯一类，只需要SSD模型检测交通灯的位置，降低了检测难度。然后将检测到的box框区域进行横向三等分或使用霍夫变换检测交通灯的圆所在区域，通过比较最右端和最左端的区域平均亮度值大小来区分红绿灯，大大提升了识别效果。

语音识别模块

通过调用pyaudio库使用摄像头集成的麦克风进行录音，使用百度aip平台进行语音识别，当识别到相应指令时，向STM32发出对应信号，实现语音控制。

硬件设计

根据本次企业命题的要求，设计了一款基于Tengine-Lite的交通标志物识别自动驾驶方案。在EAIDK310平台上，使用Tengine-Lite加速SSD目标检测算法，实现了交通灯的检测、交通标志和行人的识别，使用pyaudio库和百度AIP平台实现语音识别；利用串口与STM32微控制器按照规定的协议进行通信，通过改变3路PWM信号的占空比对一个舵机和两个电机进行控制，实现小车的左转、右转、加速、减速等行为，利用PID算法在小车转弯时实现电机差速，使小车转弯更加顺畅。使用TSL1401CL传感器和单片机的ADC采集模块，实现对赛道的感知，实时计算舵机修正值来调整行进方向达到沿赛道行走的目的。最终在实验室搭建的赛道环境完成了所有功能。
本系统还存在以下不足之处：
（1）没有添加测距模块，小车对于目标物的距离的把控度不高。
（2）由于麦克风设备收音距离限制，小车对场地内语音控制的灵敏度不高。
针对上述问题，将在日后继续完善。