基于机器视觉的工业机器人分拣系统设计

基于机器视觉的工业机器人分拣系统设计

李丹丹

广州市金领技工学校  广州市增城区  511300

摘要：进入二十一世纪，在我国快速发展下，带动了科学技术水平的进步，本文针对使用传统离线或示教编程方式工业机器人无法开展复杂分拣环境作业任务的问题，以ABB工业机器人、OMRON机器视觉、西门子S7-1200PLC等为硬件基础，搭建了基于机器视觉的工业机器人分拣系统平台。视觉系统通过识别二维码实现对物块的分类，以工业机器人控制器作为服务端、视觉控制器为客户端，采用TCP/IP协议建立Socket通信，将分类信息传递给工业机器人控制系统，从而引导机器人完成物块的抓取和分类搬运。实验结果表明，基于机器视觉搭建的工业机器人分拣系统定位精度和准确度高，可满足工业自动化生产的需求。

关键词：机器视觉；工业机器人；Socket通信；二维码；分拣

引言

随着制造业的快速发展，特别是伴随着工业机器人技术的日趋成熟，码垛作业越来越趋向于自动化。工业机器人通过本体、末端执行装置等部位的协调运动，能够将物料按照规定要求码放到合适位置，效率高，安全性高，应用越来越广泛。但是，在实际生产中，由于各种因素影响，采用机器人示教编程实现码垛时，一旦工作环境发生变化，往往会出现错位、物料摆放位置不准确等问题。这就要求码垛机器人能够实时获取物料实际位置，并能够进行自动调整和修正。

1基于机器视觉的工业机器人工作站系统组成

基于机器视觉的工业机器人工作站系统由机器视觉模块、机器人模块、S7-1200PLC控制模块、物料供给与传送模块和人机界面模块等组成。物料从供给机构输出，经过传送带送到机器视觉模块拍照位，相机对物料进行拍照，由机器视觉模块对照片进行处理，处理后的照片颜色、位置等数据由机器视觉模块传给S7-1200PLC，再由S7-1200PLC系统传给工业机器人；当工业机器人收到S7-1200PLC传来的颜色、位置等数据后，工业机器人将传送带上的物料进行搬运、分拣、码垛操作，放到由机器人程序设定的位置。

2分拣系统方案设计

2.1、Socket通信

Socket通信可以称为套接字，是一种基于客户端/服务器模型的通信方式，可以实现两个不同主机上应用程序之间的双向通信。在Socket通信中，客户端主动向服务端提出请求，服务器端被动地向客户端传输数据。客户端和服务器端只有在双方之间建立一个基于TCP/IP协议的连接之后，才能传输数据。文中以工业机器人控制器为服务端、视觉控制器为客户端，基于TCP/IP协议建立Socket通信方式。PLC通过I/O信号向视觉系统发送拍照指令，视觉系统将处理后的二维码图像信息发送给工业机器人。工业机器人与视觉控制器直接通信提高了系统分拣效率。

2.2目标识别和目标位姿求取

针对目标识别和目标位姿获取，可使用的视觉测量技术有多种。主要的思路是使用深度信息恢复，三维重构等技术，通过这些技术，可以测量目标的位置，然后通过对结果进行三维数据模型构建。该视觉系统又名为立体视觉系统，借助该系统，然后经过三维重构，最终能够达到对目标的几何尺寸和空间位置进行描述的目的。在该数据模型构建之后，能够使用工业机器人进行抓取规划。然而，在实践中发现，立体视觉所需要处理的数据非常大，而且三维重构算法极为复杂，其中会涉及大量的计算。所以，目标深度信息的完整恢复难度较大，一般要额外提供目标的三维数据模型。目标识别一般包括这四个方面：模型库和特征检测以及假设生成和假设检验。对于识别的过程，会使用到多种匹配技术，这样才能够在真实图像中找到目标物。当前，使用较多的相关技术有模板匹配、位姿聚类和解释树等。求取目标位姿的主要方法包括：基于立体视觉的位姿测量，基于矩形的位姿测量，基于PNP问题的位姿测量和基于消失点的位姿测型。

2.3智能相机编程

首先，要将识别和定位的工件放置于相机检测工位的正下方，调节相机的焦距使图像清晰可见。并使用视觉软件上自带的图案定位工具分别对要识别的工件进行拍照学习，获取图像模版。本文待测量的工件和装置图如图1所示。工件模版学习完成后，只要触发智能相机拍照，智能相机就会将待搜索区域拍到的图像特征与原来学习的模版特征进行匹配，从而识别出工件的形状，并计算出工件的中心在相机坐标系下的坐标（象素），即工件的位置和旋转角度。因为此次识别的工件高度差距较大，高度越高，工件存在重影的可能性就越大，会使智能相机识别错误，或者识别不到。为了解决这一问题，此次我们对高度较高的电机轴模型（工件）采用多特征识别，并通过测试选取合适的相似度阈值。由于待测工件存在高度差，为了使相机坐标系的像素坐标转化成实际的尺寸更加精确，可以使用不同的比例参数，即可以在不同工件的上表面分别测试出相机的像素与实际尺寸的比例值。

图1工件及装置图

2.4、PLC软件设计

本系统采用的PLC编程软件是西门子博图软件，利用Modbus/TCP标准通信协议，通过PLC实现了将智能相机的数据发送给机器人的目的。PLC程序的流程图如图2所示。由上面的流程图中可知，PLC与智能相机的通讯主要是读取智能相机拍照识别到的工作数据，再将数据通过PLC发送给机器人。因此，可以将智能相机和工业机器人看做是服务器，而PLC当作是客户端。利用博图软件自带的Modbus/TCP客户端通信模块“MB_CLIENT”指令分别实现PLC与智能相机、PLC与工业机器人的通讯，通讯块程序如图3所示。需要注意的是PLC只从智能相机读取数据，因此通讯块的工作模式设置为只读，而PLC与工业机器人通讯既有读数据也有写数据，因此，他们一个通讯块的工作模式设置为只写，另一个设置成只读；同时模块设置的“MB_UNIT_ID”参数需要与“CONNECT_ID”相对应。

图2  PLC程序流程图

图3  PLC与相机和工业机器人的通讯模块

结语

为了提高工业机器人分拣识别的准确性，文中创新地将 PLC 为主控制器，视觉系统通过识别二维码，实现在对物块分类后通过基于 TCP/IP 协议的Socket 通信方式与工业机器人通信，工业机器人完成物块的分类搬运。PLC 控制视觉系统拍照、传送带运行及工业机器人搬运等整个系统的运行，使系统操作方便快捷，提高了系统控制准确率。通过RobotStudio 进行仿真，对工作路径进行规划以及确定合理的速度，大大减少了工作运行时间，降低工业机器人的能耗，延长使用寿命。对搭建的系统平台进行了验证，实验结果表明，基于机器视觉的工业机器人分拣系统结构简单、实时性好，分拣对象识别准确率高，分拣速度快，能有效提升物料分拣效率，可极大节省分拣作业的人力物力成本，对实现工业自动化、提高生产效率具有重要意义。

参考文献

[1]杨静.杨红平.张慧.杨杰.基于视觉的工业机器人应用系统发展及研究综述[J].甘肃科技纵横,2018,47(06):58-63.

[2]栗俊艳.米月琴.弓靖.刘鹏飞.一种基于机器视觉的工业机器人分拣系统[J].电子科技,2016:111-113+116.

[3]高强.墙材机器人视觉伺服技术研究与开发[D].四川:西南科技大学.2013.

[4]都胡平.基于机器视觉的光伏电池片位置检测与缺陷识别方法研究[D].杭州:杭州电子科技大学,2020.

[5]唐咏.基于OMRONFZ-SC机器视觉的硬币检测与分拣系统的设计[J].电脑知识与技术,2020,16(14):168-170．