三轴协作机器人+图像处理与机器视觉实验平台：实现从识别到分拣的全自动化作业

       随着机器视觉的迅速发展，工业现场中越来越多的人工检测被替代，比如物料的外观、计数、缺陷等的检测。机器视觉的发展解决了传统人工检测速度慢、劳动强度大和容易漏检的问题。为了适应市场需求，高校需要培养机器视觉相关的工程应用型人才。

       为了满足这些需求，中科深谷最新推出的一套基于视觉识别+三轴协作机器人的整体解决方案，实现从识别到分拣的全自动化作业。

       三轴协作机器人+图像处理与机器视觉实验平台主要由计算机（运行图像处理程序）、工业相机、镜头、光源、视觉标定板（非对称圆网格样式）和视觉识别目标组成。 本产品作为计算机视觉与机器视觉的教学产品，不仅提供实验教学所需的软硬件平台、实验案例、实验指导书，并能基于已学习的案例进行配套的项目实战，兼顾教学与应用，其中提供三轴机械臂的手眼标定和视觉抓取程序案例，让学生能掌握机器视觉的知识及其应用。

PART 01  产品特点五大视觉识别算法 

       机器视觉是用机器来代替人眼进行目标对象识别、判断和测量的技术。机器视觉通过计算机模拟人的视觉功能，主要技术涉及目标图像获取技术、图像信息处理技术、目标对象测量与识别技术。典型机器视觉系统主要由视觉感知单元、图像信息处理与识别单元、处理结果显示单元和视觉系统控制单元组成。

01 颜色识别

       平台使用eye-to-hand的模式，通过OpenCV识别物块颜色，并计算目标颜色物块的质心与像素长宽，基于手眼标定实现物块从像素坐标系到机械臂世界坐标系的转换。机械臂根据预设动作，将不同颜色物块分类拣选。

02  形状识别

       物体的形状识别是模式识别的重要方向，在计算机中物体的形状有多种表示方式，基于不同的形状表示方式，提出了多种形状识别方法，如基于傅里叶描述子、主分量分析、不变性距等方法。在形状识别中，识别所基于的模式特征非常重要。

       形状识别的一般流程：形状提取、形状特征提取和分类识别。

03  特征点识别

       FAST角点检测，通过考察像素点与周围领域内的16个像素点的差异来确定特征点，并且通过分割测试算法对检测效率做了极大的提升。

04  yolov5识别

       传统的目标检测系统利用分类器来执行检测。为了检测对象，这些系统在测试图片的不同位置不同尺寸大小采用分类器对其进行评估。如deformable parts models (DPM)方法、R-CNN类方法。

        新平台将目标检测问题转换为直接从图像中提取bounding boxes和类别概率的单个回归问题，（you only look once，YOLO）即可检测目标类别和位置。

05  AR二维码识别

       在特征提取模块中，新平台使用纹理特征提取算法从原始输入图像中提取出多分辨率直方图特征、局部二值模式特征和边缘方向直方图特征，这三种纹理特征的表达形式均为一维数组。新平台将这 3 个数组连接为 1 个一维数组，作为后续分类模块的输入。

产品优势

1、提供多个经典的图像处理算法和实验样例源码；

2、相机设备支持跨平台开发，提供Windows，Linux上的开发接口；

3、相机设备支持多种开发语言，包括C++、Matlab主流编程语言；

4、可以方便的接入ROS系统以完成机器人视觉系统的搭建和集成；

5、实验案例内容丰富详细，包含大篇幅的技术及知识点介绍；

6、资料完全开放，支持二次开发，提供二次开发技术支撑。

PART 02 适配中科深谷开源三轴协作机器人系统平台

       开源三轴协作机器人系统平台是基于CSPACE实时仿真控制系统开发的教科研平台。机器人系统使用全自主研发的关节驱动器及运动控制器，软硬件全开源，提供丰富的实验案例，涵盖运动学、动力学、Simscape建模仿真等。

       从仿真测试到实践操作，从理论算法到工程应用，专注先进控制算法与应用，赋能人才培养，可支撑机器人工程专业、机械电子工程专业、人工智能专业、智能制造工程专业等相关本科教学专业实验或研究生科研实验。

01  手眼标定

       手眼标定即相机内参和外参的标定，用于矫正图像和后续数据推算。内参即与相机安装位置无关的本身硬件参数（如焦距、像素大小等），内参标定功能包为 camera-calibration ；外参即相机在世界坐标系中的参数（如相机的位置、旋转方向等），外参标定的功能包easy_handeye 。

02  实现物体识别与定位

       视觉抓取的第一步自然是对于目标物体的识别和定位，目前可以借助开源视觉库OpenCV的内置库以及ROS开源包进行实现。不论是通过二维图像的深度信息或是物体的颜色形状 还是三维点云的识别分析，相机需要传回目标物体在世界坐标系中的位置和姿态》。

PART 03  算法和软件平台

       平台提供图像处理中图像色彩调节、融合、直方图、图像的腐蚀和膨胀、图像滤波、图像边缘提取、图像反转等算法、软件和实验，并提供应用于三轴机械臂的手眼标定算法、示例样品的识别和抓取功能及其源码。并提供OpenCV（C++开发）、MATLAB的软件案例。

PART 04  可开展的实验教学内容

一、OpenCV类实验

机器视觉基础实验

机器视觉综合实验

二、Matlab类实验

机器视觉基础实验

综合实验

高校案例

       机器视觉，正在越来越多的领域得到普遍的运用。在过去，通常是用人眼对目标进行识别、跟踪和分析。

       三轴协作机器人+图像处理与机器视觉实验平台的出现，极大的释放了开发者创造力，面向工业视觉场景大有可为。未来，中科深谷将持续研发创新，在机器人的基础上，进一步整合其在工业等产业自动化领域的深厚能力，为用户提供定制化、智能化解决方案，并将工业等产业装备的硬件、软件、算法等开源开放出来，秉持开源开放、技术创新，产学研用通力融合，努力推动人工智能·机器人技术的高速发展及产业应用。