本文为2023年第十八届中国研究生电子设计竞赛安谋科技企业命题华中赛区二等奖作品分享，参加极术社区的【有奖活动】分享2023研电赛作品扩大影响力，更有丰富电子礼品等你来领！，分享2023研电赛作品扩大影响力，更有丰富电子礼品等你来领！

四足仿生机器人的巡检和建材识别

参赛单位：中国地质大学（武汉）
指导老师：程卓 罗大鹏
参赛队员：罗晶凡 任雪 吴潇文

作品简介：

   鉴于工业环境的复杂性,目前工业巡检主要利用人工巡视的方式进行，人工巡检耗时长，对人员要求高,特别是在复杂高危的工业环境下，还要保障巡检人员的人身安全。本四足仿生机器人的巡检和建材识别技术论文设计了一种面向复杂工业场景的智能巡检机器人，对于机器人的定位与导航，巡检目标检测与识别等技术展开研究。主要的研究内容和创新点包括：四足机器人是一种仿生机器人，具体是通过ESP32作为控制模块控制机器人的具体运动,手机或电脑只需要安装有浏览器即可访问该机器人的控制界面，采用上下位机完成对仿生机器人的控制，实现如招手、前进、后退、下蹲等动作，从而通过人为远端控制机器人进行全方位的巡检，使机器人在工业场景中进行精准定位以及对现场工地的建材进行识别；同时利用YOLO V4数据集进行目标检测训练,从R329的实时传过来的MJPG视频流中检测特定物体(钢筋圈、钢筋捆和砌体)并显示出识别目标的具体位置和数量，方便工作人员操作；同时，R329还部署了人体检测的YOLO V2模型，可以实时监测是否有人体靠近机器人并将信息传递给ESP32进行报警；本项目还包含了超声波模块测量前方障碍物距离，通过各种传感器采集现场的环境数据，比如温湿度等，将采集到的信息上传到OneNET云平台，可以实时查看数据，搭建多传感器之间的通信架构。

整体方案描述
   本系统是以ESP32作为主控制器、R329采集处理图像以及各种传感器采集相应的数据、上位机接收显示实时数据共同搭建的硬件平台，结合目标监测、以太网传输、网络协同搭建的系统。上位机通过WiFi与下位机通信，ESP32作为下位机可以进行连杆逆解和步态生成，通过ESP32控制机器人的运动，人为控制机器人按照设定的路径，在全范围内移动巡检。在巡检过程中，会实时监测是否有人靠近机器人并报警，提醒操控人员有障碍物，注意规划路线，还需要使用R329开发板上的USB摄像头，采集图像信息并经过R329进行视频编解码和图像处理后，图传给上位机，并且在上位机使用YOLO V4的算法模型进行相应的建材识别，比如：砌砖、钢筋、钢圈，识别检测到后在图片中实时标注出来并进行保存，方便后期检查。此外，还采用了超声波模块实时测量目标的距离，温湿度模块采集当前环境中的温湿度数据，将采集到的信息上传到OneNET云平台，可以方便工作人员实时查看数据。
系统整体架构框图具体如下图所示：

作品全貌

硬件设计

   机器人采用ESP32为主控制器，ESP32具有双核处理器、Wi-Fi和蓝牙通信等功能，可以实现机器人的控制和通信，同时搭载外围电路，比如：电源管理模块--为机器人提供稳定的电源，传感器模块--搭载多种传感器，如超声波传感器、温湿度传感器，以实现测距、检测环境等功能，还提供了一些扩展接口，如GPIO、UART、I2C等，以便连接其他外部设备。机器人的硬件原理图如下所示：

   机器人在巡检过程中会通过多种传感器采集数据，在采集现场建筑工地的建筑材料时，需要通过摄像头和图像采集模块实时采集建材数据，比如：砌砖、钢筋、钢圈，经过一系列图形编解码处理后通过网络传输给上位机，方便用户监测，下图为R329实物图。

esp32资源分配如下：

esp32s3资源分配如下：

软件设计

建材识别算法

   本项目的软件系统设计主要是对四足仿真机器人的周围建筑器材，即钢筋圈(coil)、钢筋捆(rebar)和砌体(brickwork)进行三种对象的分类与目标识别，整个过程采用的是YOLO V4算法，使用手机对施工现场拍摄大量的关于钢筋圈(coil)、钢筋捆(rebar)和砌体(brickwork)图片获取数据集的图片部分，之后搭建平台训练，具体模型训练流程如下图所示：

   为了更迅速的得到实时图像，本项目将训练得到的模型做成一个.exe的可执行文件，在windows系统下都可直接运行，在图像识别的过程中比较与模型的匹配度从而识别到以上三个物质，并将所有的物质信息、物质数量和物质所在的坐标信息传输到Output的.txt文件里面，之后运用Pycharm进行对图片的框选并显示，其主要流程如下图所示：

   该装置可以同时识别多个目标，当区域内存在多个目标时(目标识别数量不少于2个)，YOLO V4算法可以将图片中三类全部识别，并显示个数。

建材识别模型训练

   本项目用YOLO V4算法完成对工地建材，即钢筋圈(coil)、钢筋捆(rebar)和砌体(brickwork)这三种物体的分类与目标识别，下图分别为砌体标注、钢筋捆标注、钢筋圈标注

建材识别功能测试

   本测试是整个系统的核心功能对于工地建材的识别，本次实验对输入分为三类，分别为以图片形式输入、以USB摄像头实时画面输入和R329 MJPG图传实时图像为输入，对该YOLO V4建材识别算法在实验室环境下和工地现场进行测试，测试过程循序渐进，最终是为能够在工地现场实时对建材进行识别并统计个数。

图片形式输入算法功能测试



USB摄像头形式输入算法功能测试




工地现场环境实测算法功能测试

R329的YOLOv2人体检测实测

环境监测功能

   环境监测功能是通过esp32对各传感器数据进行获取，通过MQTT协议上传到OneNet平台终端以及可视化WEB端，方便工作人员进行查看，将系统各个功能独立开来，互不干扰。

视频展示

https://www.bilibili.com/vide...

本文为2023年第十八届中国研究生电子设计竞赛安谋科技企业命题华中赛区二等奖作品分享，参加极术社区的【有奖活动】分享2023研电赛作品扩大影响力，更有丰富电子礼品等你来领！，分享2023研电赛作品扩大影响力，更有丰富电子礼品等你来领！