19

阿嵩_ · 2021年08月28日

【2021研电赛】Arm命题二等奖:基于Tengine-Lite 的交通标志物识别自动驾驶方案

本作品介绍参与极术社区的有奖征集|分享研电赛作品扩大影响力,更有重磅电子产品免费领取!

团队介绍

aijishu_f58f33895e90843aeca815ebaa5f4a6.png

参赛单位:上海电力大学
参赛队伍:肝成果小组
指导老师:仝明磊 唐敏
参赛队员:刘林嵩 张凌慷 胡巧遇
获奖情况:Arm命题全国二等奖

1.作品简介

随着人工智能的发展,对安全、环保的社会出行环境提出了更高的要求,由于自动驾驶技术可防止车辆驾驶员人为因素引起的各种交通事故,合理管控、调节道路交通流量,改善道路通行状况,提高道路的通行能力,具有广阔的发展应用前景和极大的社会效益。
在自动驾驶任务中检测汽车前方路况、识别交通标识及障碍物十分重要,对自动驾驶汽车发展具有非常重要的意义。本项目基于EAIDK-310嵌入式开发板,提出了一种自动驾驶方案,设计了一款智能小车。智能小车由软件搭载和硬件组装构成:其中软件部分包括搭载在EAIDK-310上的目标检测模块和语音识别模块;硬件组装包括搭载在STM32上的舵机驱动模块、电机驱动模块以及CCD寻线模块。

主要工作在于
1.根据赛道实景自行采集并标注数据集用于训练网络,完成基于SSD算法检测模型的搭建,在嵌入式平台EAIDK-310上使用Tengine-Lite预测,平均帧率达到20Hz,精确识别到交通标识物、信号灯及行人,检测精度可达95%;
2.STM32使用线性CCD模块巡线,结合EAIDK310主控板所发出的指令,完成对环境中动态目标的检测及识别,使小车完成自动检测周边环境的任务。
3.使用麦克风接受语音信号,通过语音识别模块识别语音信息并控制小车做出相应动作。
本方案的创新点在于在信号灯识别时,摒弃了单纯深度学习方法,采取深度学习与传统图像处理方法相结合的方式来解决。在数据集标注时将红灯和绿灯标记为信号灯一类,使用SSD模型检测信号灯位置,大大降低了检测难度。然后将检测到的box框区域进行横向三等分,通过比较最右端(绿灯区域)和最左端(红灯区域)的平均亮度值大小来区分红绿灯。

2.作品方案

aijishu_image.png
本项目基于EAIDK-310嵌入式开发板,提出了一种自动驾驶方案,设计了一款智能小车。智能小车由软件搭载和硬件组装构成:其中软件部分包括搭载在EAIDK-310上的目标检测模块和语音识别模块;硬件组装包括搭载在STM32上的舵机驱动模块、电机驱动模块以及CCD寻线模块。

算法流程图

aijishu_image.png

在实现交通灯检测,交通标志检测和行人检测功能时,我们采用了深度学习的方法。选用模型小、检测速度快的SSD目标检测算法,以VGG16网络作为backbone进行特征提取。我们在实验室环境中搭建赛道,随机采集了2000张包含各种交通标识、红绿灯、行人的图片,对其进行标注。在pc端将数据增强后的数据集送入SSD目标检测网络进行训练得到pth模型文件,使用Tengine提供的转换工具将其转换为Tmfile模型,使用Tengine-Lite在EAIDK310平台上进行部署。

3.创新点

aijishu_image.png
我们在实现红绿灯识别功能时。我们采取深度学习与传统图像处理方法相结合的方式。在数据集标注时将红灯和绿灯标记为交通灯一类,只需要SSD模型检测交通灯的位置,降低了检测难度。然后将检测到的box框区域进行横向三等分或使用霍夫变换检测交通灯的圆所在区域,通过比较最右端和最左端的区域平均亮度值大小来区分红绿灯,大大提升了识别效果。

语音识别模块

aijishu_image.png
通过调用pyaudio库使用摄像头集成的麦克风进行录音,使用百度aip平台进行语音识别,当识别到相应指令时,向STM32发出对应信号,实现语音控制。

硬件设计

aijishu_image.png
根据本次企业命题的要求,设计了一款基于Tengine-Lite的交通标志物识别自动驾驶方案。在EAIDK310平台上,使用Tengine-Lite加速SSD目标检测算法,实现了交通灯的检测、交通标志和行人的识别,使用pyaudio库和百度AIP平台实现语音识别;利用串口与STM32微控制器按照规定的协议进行通信,通过改变3路PWM信号的占空比对一个舵机和两个电机进行控制,实现小车的左转、右转、加速、减速等行为,利用PID算法在小车转弯时实现电机差速,使小车转弯更加顺畅。使用TSL1401CL传感器和单片机的ADC采集模块,实现对赛道的感知,实时计算舵机修正值来调整行进方向达到沿赛道行走的目的。最终在实验室搭建的赛道环境完成了所有功能。
本系统还存在以下不足之处:
(1)没有添加测距模块,小车对于目标物的距离的把控度不高。
(2)由于麦克风设备收音距离限制,小车对场地内语音控制的灵敏度不高。
针对上述问题,将在日后继续完善。

4.作品展示

实物展示

aijishu_image.pngimage.png

讲解视频及赛道演示

https://www.bilibili.com/video/BV1eQ4y1h7XT/?aid=720171698&cid=398813240&page=1

更多研电赛作品请查看2021年研电赛获奖作品合集
推荐阅读
关注数
18047
内容数
129
基于Arm技术竞赛作品的分享,欢迎交流~
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息