基于角度估计机械臂抓取系统目标检测算法

基于角度估计机械臂抓取系统目标检测算法

邵倩

江苏华电铁塔制造有限公司 江苏 徐州 221000

摘要：随着工业机器人的不断发展，提高抓取机器人的智能化程度已经成为国内外学者的重要研究方向。当前工业领域主流的机械臂是通过复杂的点到点的示教作业来完成对目标物体的抓取。虽然示教方式具有易操作、成本低等优点，但这种方法会受到待抓取物体位置固定的制约，当物体位置变化时，机械臂无法自动获取到目标物体新位置的信息，会导致抓取失败。为了避免待抓取物体位置发生变化时抓取困难的问题，使机械臂可以自主获取到作业区域内任意位置和任意角度的目标信息，需要引进一种基于机器视觉的目标检测方法。

关键词：角度估计；机械臂抓取；目标检测；

引言

随着国家的实力越来越强，科技水平在生产力中所起到的作用也越来越大，同时，国家也在大力推行“制造强国”的国家战略，因此，智能制造将会是中国在21世纪发展的一个重要方面，它将会对未来的高端制造业的创新、节能和生产方式的改变产生巨大的影响。

1MAR-YOLOv5算法

1.1添加角度估计模块

YOLOv5算法是将目标物体用水平矩形框标出，鉴于水平矩形框无法准确表达物体的位姿信息，本文增加角度估计模块来满足机械臂抓取过程中对目标物体位姿信息的需求。由于角度估计模块学习的目标参数θ具有周期性，会导致在网络训练时产生边界问题，在周期变化的边界处损失值突增，增大网络的学习难度。为了避免旋转目标标注方式在网络训练时产生的边界问题，本文将传统的角度回归方法变为离散化的环形平滑标签角度分类方法。

1.2增加尺度预测层

机械臂抓取过程中，会面临着尺度变化非常大的目标物体，很多小目标物体由于目标区域较小，携带的有效信息在经过多次卷积和下采样后造成信息丢失，最终出现漏检、召回率降低等情况。YOLOv5的原始检测层有3层，分别为20×20、40×40与80×80。为了提高原算法对小目标物体的召回率，本文在维持原算法3层检测层不变的情况下，新增一个160×160的小尺度预测层来强化对低维特征的提取能力。该预测层是通过在原80×80上采样层后添加256通道的上采样，生成一个具有深层语义信息的160×160特征图，将其与backbone中具有浅层特征的160×160特征图进行特征融合，最终输出一个分割网格更密的小尺度检测层。算法的预测尺度也由原来的3尺度检测变为4尺度检测。虽然小尺度预测层的加入使模型参数量变大，增加算法训练和检测时间，但是经过消融实验对比，小目标物体的召回率和精确度有了明显的提升。

2基于深度强化学习的机械臂控制研究

由于机器人的运动空间具有连续性，利用值函数增强学习进行机器人运动时，运动空间的离散会造成运动的不均匀性，但由于运动空间的不均匀性，使得运动空间的离散程度较高，因此，本项目提出了一种新的动态规划自适应遗传算法。因此，以UR5机器人为对象，以DDPG为基础，通过改进经验重播和多目标学习等手段，来解决DDPG算法在机器人运动过程中存在的样本利用率不高、收敛性差等问题。法利用摄像机拍摄的影像及接头的姿态信息，并将接头的控制参数作为接头的输出。在此基础上，首先对正、侧面摄像头拍摄的影像进行一系列的卷积、集束运算，提取影像特征，利用一个完整的连接层将其融合为一维，利用Concat函数融合两个视角的联结，将两个视角的联结信息融合为一维，利用该联结层将两个数据融合为一维，将这两个数据融合为多个完整联结的联结，最终得到相应的联结结果。该方法将摄像机拍摄的图像、关节的角度信息以及关节的转动速度等信息，并将Q值与该算法进行比较。在此基础上，利用基于决策网络的方法，将摄像机拍摄到的影像信息和运动信息融合为一维影像信息，并将其转化为一维影像信息，然后将两个信息融合为一维影像信息，再将两个信息融合到一个多层次的全连接网络中，进行Q值的拟合。将观察到的影像与接合状态称为“状态s”，接合转动量为“运动”。在该策略网与该值网中，初始图片的尺寸是100x100x3，最大的一层是该网络的最大一层，并将其标记为“SAME”。其中，卷积层与总连通层分别使用线性整流函数（ReLu）作为激励函数，并使用Adam最优算法对策略与值网络进行最小化。在整个联结层面，无论是在策略网还是在价值网，都使用了relu函数作为联结的活化函数。

3机械臂虚拟模型建立

机械臂的数字虚拟模型用来显示机械臂各个轴和末端执行器在空间的位置和姿态。通过对机械臂进行运动学建模，可根据机械臂各个关节的角度计算得到机械臂本体和末端夹具的位姿。采用D－H方法对FANUC_M210ID六轴机械臂进行建模，通过机械臂轴臂坐标系的相对位置关系建立基座到末端夹具的坐标系映射关系，构建机械臂D－H参数表。根据D－H方法，建立各轴坐标系之间转化关系，计算坐标系转化矩阵就可以建立机械臂末端位姿与机械臂各轴转角之间的映射关系，完成机械臂的运动学建模。基于机械臂运动学模型，根据机械臂各轴的转动角度就可计算出机械臂各个关节和末端执行器的位姿。利用OpenGL软件库的接口函数读取机械臂各轴臂STL格式的模型，根据坐标系的转化关系进行装配，就可建立机械臂的虚拟仿真模型，根据机械臂各轴角度显示机械臂的状态。

4混合注意力机制的引入

在实际的机械臂抓取作业时，工作环境中复杂的背景信息会影响待检测目标的特征提取效果。注意力机制的原理就是从复杂信息中选择出对当前任务更有效的信息，增强特征提取能力。目标检测算法中常用的注意力机制有通道注意力和空间注意力等。提出了混合注意力机制，它包含两个模块，初始特征依次通过通道注意力模块和空间注意力模块的权值分配，促使算法更关注重要特征，减弱不重要特征影响力。CBAM模块的输入为C3模块输出的残差特征融合图（RFM）。在通道注意力机制中，首先将RFM分别进行全局平均池化和最大池化，得到两个大小为1×1×C的特征图。然后两个特征图分别依次经过输出通道为C/16的卷积、RELU激活函数、输出通道为C的卷积变为两个具有深层信息的1×1×C特征图。将两个特征图基于张量进行Add后，使用Sigmoid函数将其转变为残差特征通道注意力权重（RFW），最后将RFW与初始输入的RFM做矩阵乘法，得到最终的通道注意力机制特征图（RFC）。

结束语

首先针对机械臂作业过程中对目标物体位姿信息的需求，本文在YOLOv5算法的基础上引入了角度估计模块，在识别目标物体的基础上获取目标的角度信息。其次针对机械臂抓取中小目标物体识别困难的问题，在原算法3个检测层基础上，添加了一个小尺度检测层，明显提高了小目标物体的识别精度。最后针对机械臂作业背景的复杂性，将混合注意力机制CBMA引入到原算法的C3模块，减弱了复杂背景对待检测目标的特征提取负面效果。

参考文献

[1]张新良,冷正明,赵运基,等.双目视觉伺服的4-DOF机械手臂运动控制[J].仪表技术与传感器,2019(1):81-85.

[2]汤科元,刘川莉,蔡乐才,等.基于YOLO轻量化网络的交通标志检测算法[J].四川轻化工大学学报(自然科学版),2021,34(5):62-70.

[3]王闰泽,郎利影,席思星.用于智能煤矸分选机器人的改进型VGG网络煤矸识别模型[J],2022,41(1):237-241.

[4]余永维,彭西,杜柳青,等.基于深度学习框架的装配机器人零件实时检测方法[J].兵工学报,2020,41(10):2122-2130.

[5]王丽荣.基于视觉技术的机器人抓取目标识别与定位[J].机械设计与制造工程,2021,50(10):33-36.