AI大模型加持!中科深谷移动小蚂蚁机器人平台探索科研教育的新方向

发布日期:2024-11-11 浏览次数:105

       近年来,随着人工智能的不断发展,AI已逐渐融入我们的日常生活和生活应用场景。将移动机器人与AI结合,实现了移动机器人在复杂任务和未知环境中强大泛化能力。


       移动机器人基于其移动平台、传感能力等优势,与AI和大模型深度融合,为各类应用场景提供强大的智能化解决方案,具有无线的应用场景想象空间,因此,它已经成为科研教育探索的新方向。中科深谷正式推出了面向科研教育的具身智能小蚂蚁移动机器人平台。


小蚂蚁移动机器人平台

       开源小蚂蚁移动机器人平台由机器人控制系统、机电控制系统、多传感器模块组成。底盘采用两轮差速结构;机器人控制系统硬件采用英伟达控制器,算力可达21 TOPS,软件基于ROS系统,支持多种开发语言及MATLB/Simulink的MBD开发方式;机电控制系统的硬件基于STM32,软件基于freeRTOS嵌入式实时系统,采用C语言开发;多传感器模块包含室内激光雷达,语音传感器,IMU传感器,视觉传感器,超声波传感器,多种测距传感器等。产品包含自研的多传感器信息融合算法、高精度定位导航算法等核心算法包,还可以支持拓展多智能体集群控制算法。


01、支持快速的建图方式

      小蚂蚁移动机器人平台支持快速的建图方式,可实现全自动二维高精度导航地图绘制与二维场景建模,建图操作简单、易行,无需过多先验知识即可实现彩色二维点云构建,具备地图自主更新能力。拥有高精度和鲁棒激光SLAM前端激光里程计和后端图优化功能,确保构建出与实际环境高度一致的地图。


构建不同场景下的2d地图


02、环境感知与导航

视觉识别:利用图像识别和物体检测技术,使机器人能够理解周围环境。例如,通过卷积神经网络(CNN)来识别道路标志、行人和其他障碍物。

SLAM (Simultaneous Localization and Mapping):结合深度学习和传统的SLAM算法,实现更准确的定位和地图构建。这有助于机器人在未知环境中自主导航。



03、大模型训练接入


      小蚂蚁移动机器人平台具备各种训练模型的接入能力,进行某种场景下机器人的大模型训练。


      大模型提供了丰富的定制化API接口,这些接口使得开发者能够依据自身业务领域,选取对应的偏好场景,充分释放大模型在垂类业务下的理解与任务处理能力,同时也支持自定义使用场景。


      小蚂蚁移动机器人平台将大模型技术与小蚂蚁移动机器人控制相结合,首先要根据小车行驶指令生成数据集,将数据集上传至大模型平台进行模型训练,完成训练后根据大模型提供的API接口编写脚本,最后运行程序并在终端输入中文指令,大模型算法会将中文指令转换为控制小车行驶的指令并发送给车载控制器,从而实现对移动机器人的智能控制。


基于大语言模型的机器人巡检任务执行



大模型旨在通过自然语言处理技术,实现跨领域的知识和语言理解能力。

1)跨领域能力:大模型具备跨领域的知识和语言理解能力,使其能够在多个行业和领域中应用,如教育、医疗、金融等。

2)自然对话理解:模型能够理解自然对话中的意图和语境,提供更人性化的交互体验。

3)多元能力集成:集成了文本生成、语言理解、知识问答、逻辑推理、数学解题等能力,使其成为一个多功能的AI助手。

4)持续学习与进化:模型能够从数据中持续学习,不断优化其性能和准确性,适应不断变化的需求和场景。


      大模型在移动机器人任务中主要扮演了推理决策的角色,将人类给出的自然语言指令拆解为机器人可执行的步骤。多模态的大模型补全了机器人最高层的推理决策能力,或许是机器人走向通用之路。


       未来,中科深谷将持续研发创新,将工业等产业装备设备的硬件、软件、算法等开源开放出来,努力推动教育与产业的融合发展!