基于深度学习视觉的伺服平台

产品概述

       机器视觉作为一门发展很快的新兴学科，正在越来越多的领域得到普遍的运用。在过去，通常是用人眼对目标进行识别、跟踪和分析。现在，由于视觉识别技术的发展，可以用摄像机和计算机代替人眼实现生产较高程度的自动化。随着电子计算机科学，图像处理技术，模式识别技术与理论的发展，机器视觉的实际研究与应用价值正日益得到重视，并不断在许多领域取得骄人的成果。

       该系统主要是由目标检测、3D定位系统、通讯服务系统三个部分组成；采用NVIDIA  Jetson AI边缘计算开发套件，搭配Realsense D4系列的RGBD相机，来对特定物体进行识别和定位。平台视觉系统采用深度学习视觉技术，针对不同种类的目标对网络结构进行训练，可以支持大多数的物体检测和定位；而且此伺服视觉系统，可扩展作为一个独立模块应用在不同研究领域，如机械臂抓取的视觉定位，无人驾驶周围环境感知和定位、传送带物体分拣、智能仓储的视觉等部分。此外还可以针对不同的应用场景，拥有多种模式的检测功能：第一种模式对实时性无要求，拥有高识别率的检测模式；第二种模式对识别率无要求，拥有高的检测速度；并且在算法和底层控制程序完全开源，集成多种功能于一体为教学和科研提供优越的开放性支撑。

产品特点

1. 高度模块化，可以自由搭配各种视觉场景的使用。

2. 支持视觉算法的硬件加速

3. 采用主流深度学习框架pytorch,有利于学术研究。

4. 可以支持多种视觉传感器

5. 对外提供多种方式的控制接口

6. 支持tensorrt模型的加速推理

7. 针对不同的应用场景，支持多种检测模式

8. 实验案例内容丰富详细，包含大篇幅的技术及知识点介绍

9. 资料完全开放，支持二次开发，提供二次开发技术支撑

应用案例

1. 基于深度学习的水果采摘应用

       2D和3D数据融合在机械臂抓取方向应用十分广泛，利用2D图像进行定位然后结合深度图像来得到物体的三维信息，从而使得机器能够感知三维环境中分物体的位置和姿态。

       水果采摘在实现农业自动化有着重要意义，此应用能够实现基本场景的水果抓取，识别率能够达到99%。

2. 基于深度学习的车道线检测应用

      车道线检测是自动驾驶中的一个基础模块，其实也是一个由来已久的任务，语义上车道线存在位置的检测，即使它是模糊的、被光照影响的、甚至是完全被遮挡的，基于传统图像处理的方法几乎无法实现检测，而基于一种最直接的深度学习方案——把车道线检测视为分割任务。利用视觉传感器获取图像数据，经过卷积神经网络的处理得到车道线的结果。

3. 基于深度学习的双臂咖啡机应用

       双臂协作咖啡机器人采用2台Jaka Zu3机械臂，融合深度学习技术和视觉技术，并搭配相机、夹爪、胶囊咖啡机和咖啡制作用品，实现自动化、智能化的咖啡制作。

       用户只需在相机前做出相应手势，咖啡机器人就会自动拾取用户指定口味的胶囊，完成放置咖啡杯、启动咖啡机、端送至用户面前等一系列动作，不需要等待很久便将一杯咖啡递入用户手中。

       一方面，咖啡机器人减轻了咖啡师的劳动强度，让人从繁琐的操作中解脱出来。另一方面，咖啡机器人制作咖啡的品质更加稳定，不考虑换料的话，它始终稳定地保持相关动作，保证品质不走样。

应用专业

（1）机器人专业

（2）人工智能专业

支撑科研方向

1.  传统的图像处理方法应用

2.  视觉标定技术

3.  三维空间测量技术

4.  点云数据处理和三维重建

5.  深度学习图像分类算法

6.  深度学习图像细粒度分类算法

7.  深度学习目标检测算法研究

8.  深度学习语义分割算法研究

9.  深度学习实例分割算法研究

10. 机械臂视觉抓取应用研究