深谷产品课堂——开源深度学习视觉抓取移动作业智能机器人学习和操作

大家好，欢迎关注深谷学院《深谷产品课堂》系列文章，在上期的课堂中，我们学习了开源桌面SCARA机器人学习和操作，本期为大家带来的是开源深度学习视觉抓取移动作业智能机器人学习和操作。

环境版本

· 主机系统版本：Windows10 64位

· 处理器型号：Intel-i7

· 所需软件：Machine

学习目标

首先学习视觉抓取移动机器人本体结构。

视觉抓取移动机器人由驱控一体化移动底盘、协作机器人、避障传感器系统、激光雷达导航系统、北斗差分定位系统、3D 视觉系统和基于 5G 网络的通讯系统等组成。

2.机器人本体

驱控一体化移动底盘由结构连接件、动力总成、独立悬架、充气轮胎，传感器，系统控制器组成，如下图所示，每个轮子都与一个伺服电机和一个减速器连接；定义车头左边为 1 号电机，依次为 2、3、4 号电机（顺时针计数）。底盘集成安装了其他详细组件，如超声波雷达、激光雷达、深度相机、备用扩展端口、维修仓开关、总闸开关、动力急停开关、电池仓门。

3.协作机器人

协作机器人本体由 6 个可重组的关节模组、连接部件、底座、末端部件组成。图从上到下简单地说明了六轴机械臂的两大组成部分。最上面是防撞保护套和连杆，下面是关节模组。其中六轴机械臂本体上有一个EtherCAT接口，对应接线上分布着EtherCAT通讯线和机械臂的电源线。

4.系统控制器

使用英特尔通用平台，适用范围广，运行 Ubuntu18.04、ROS1 系统，使用CAN 总线通信方式和驱动器通信，完成从指令下发到里程反馈的闭环控制效果。产品示意图如下图所示。

任务实施

任务实施包括以下内容。接下来分别进行讲解与演示。

1、抓取移动机器人启动方式

1）打开车身侧面的空气开关，打开整个系统供电2）长按车身尾部的电源按钮三秒，完成系统上电，可以清晰的听到继电器吸合声3）打开机械臂的抱闸开关，完成机械臂系统的供电4）开启手柄，按住LB键便可操作视觉抓取移动机器人

2.使用NoMachine远程控制程序操作步骤

第一步：首先打开无线网络，每辆车会有不同的无线网络名称（会在车身标出），连接该网络，利用 NoMachine 远程终端连接到“视觉抓取移动机器人平台”的控制器桌面。

第二步：输入相应的用户名和密码，连接进入“视觉抓取移动机器人平台”的控制器桌面。

3.使用ROS控制视觉抓取移动机器人实现视觉抓取

场景由道具树、道具苹果、道具筐篮、移动桌子、视觉抓取移动作业机器人平台组成；具有一定的展示度，包含了夹爪，机械臂，视觉，移动平台联动的，操作简单的特点，具体的实现流程如下图：

第一步：在远程桌面上开启终端，利用如下命令开启底盘控制系统：（如果有自启动功能，可省略该步骤）：

第二步：在远程桌面上开启终端，利用如下命令开启视觉识别系统：

第三步：在远程桌面上开启终端，利用如下命令开启场景演示功能：

第四步：将道具水果挂到道具树上，挂果高度及场景摆放距离，请参照下图，以保证机械臂可以顺利的完成水果的摘取；

第五步：使用遥控手柄来发布场景开启的命令，具体的使用顺序为：先按遥控手柄的“A”键，然后松开，接着按遥控手柄的“Y”键，然后松开，等待系统识别到仿真水果后，将开始进行场景自动演示；单次演示完成后，如果需要再次演示，请重复步骤九的内容。

任务拓展

1.使用人机交互软件进行运动控制

在终端输入：rqtgraph来查看系统运行框图，理解该框图，有助于对理解程序的运作。

课堂小结

下面我们进行课堂小结：

1、简述视觉移动抓取机器人结构组成2、学会使用NoMachine远程操作配合ROS控制视觉抓取移动机器人3、使用时要注意与视觉抓取移动机器人保持安全距离4、若出现意料之外的情况，请迅速按下急停按钮