基于学习视觉的伺服平台

概述

      该系统主要是由目标检测、3D定位系统、web服务系统三个部分组成；采用NVIDIA  Jetson AI边缘计算开发套件，搭配Realsense D4系列的RGBD相机，来对特定物体进行识别和定位。平台视觉系统采用学习视觉技术，针对不同种类的目标对网络结构进行训练，可以支持大多数的物体检测和定位；而且此伺服视觉系统，可扩展作为一个独立模块应用在不同研究领域，如机械臂抓取的视觉定位，无人驾驶周围环境感知和定位、传送带物体分拣、智能仓储的视觉等部分。此外还可以针对不同的应用场景，拥有多种模式的检测功能：第一种模式对实时性无要求，拥有j较高识别率的检测模式；第二种模式对识别率无要求，拥有较高的检测速度；并且在算法和底层控制程序开源，集成多种功能于一体为教学和科研提供较优越的开放性支撑。

产品特点

❖ 高度模块化，可以自由搭配各种视觉场景的使用。

❖ 支持视觉算法的硬件加速

❖ 采用主流学习框架pytorch,有利于学术研究。

❖ 可以支持多种视觉传感器

❖ 对外提供多种方式的控制接口

❖ 支持tensorrt模型的加速推理

❖ 针对不同的应用场景，支持多种检测模式

❖ 实验案例内容丰富详细，包含大篇幅的技术及知识点介绍

❖ 资料开放，支持二次开发，提供二次开发技术支撑

平台结构

应用技术

应用领域

案例应用

1、基于学习的水果采摘应用

      2D和3D数据融合在机械臂抓取方向应用十分广泛，利用2D图像进行定位然后结合图像来得到物体的三维信息，从而使得机器能够感知三维环境中分物体的位置和姿态。

水果采摘在实现农业自动化有着重要意义，此应用能够实现基本场景的水果抓取，识别率能够达到99%。

2、基于学习的车道线检测应用

      车道线检测是自动驾驶中的一个基础模块，其实也是一个由来已久的任务，语义上车道线存在位置的检测，即使它是模糊的、被光照影响的、甚至是被遮挡的，基于传统图像处理的方法几乎无法实现检测，而基于一种最直接的学习方案——把车道线检测视为分割任务。利用视觉传感器获取图像数据，经过卷积神经网络的处理得到车道线的结果。

3、基于学习的双臂咖啡机应用

      双臂协作咖啡机器人采用2台Jaka Zu3机械臂，融合学习技术和视觉技术，并搭配相机、夹爪、胶囊咖啡机和咖啡制作用品，实现自动化、智能化的咖啡制作。

      用户只需在相机前做出相应手势，咖啡机器人就会自动拾取用户指定口味的胶囊，完成放置咖啡杯、启动咖啡机、端送至用户面前等一系列动作，不需要等待很久便将一杯咖啡递入用户手中。

      一方面，咖啡机器人减轻了咖啡师的劳动强度，让人从繁琐的操作中解脱出来。另一方面，咖啡机器人制作咖啡的品质更加稳定，不考虑换料的话，它稳定地保持相关动作，保证品质不走样。

开发概图