SBDQ-205A机器人视觉数智化电气实训平台

一、实验指导

（一）电气实训操作

机器人视觉数智化电气实训平台学生了解电气工程中常见的控制回路及插件，并进行逻辑触发后完成整体电气回路的搭建，过程中记录，并对过程进行评估和识别。

1.平台启动后进入登录界面，输入实训者身份信息后，开始在主控界面进行线路的接通，并在执行过程中了解操作部件的结构、原理以及使用方式；

2.指令发出后实训台开始呼唤机械臂操作部分就位，并开始执行按压、插拔、旋转等动作：

3.所有操作完毕后，将对操作内容进行识别评估、同时启动实训对象，并开始监控其状态，实训对象运行过程中以物理的方式进行运行原理及内部结构的展示；

（二）自主行进机器人实训

1.机器人底盘技术介绍：

学生了自行走机器人基本原理和应用场景。

介绍自行走机器人运行的基本条件及逻辑。

2.行走部分遥控操作：

学生使用遥控终端与机器底盘连接，操控机器人底盘，同时了解和学习差速控制条件下的底盘前进、转弯、掉头变速等运动学分析。

3.可视化终端展示及学习：

学生使用远程终端学习和了解传感器数据的原理、发布、完成基于gazebo界面工具搭建2D地图，以及多算法模型规划下的全局地图和局部地图。

4.编程控制实验：

学习如何ROS命令切换地图及路径规划算法，实现自行走机器人不同的路线规划。

（三）机器视觉模块实训

学习和了解机器视觉模块的基本原理和功能，以及其在机器人应用中的作用。

1、介绍机器视觉模块的图像采集、处理和识别技术，如颜色识别、形状识别、文字等。

2.目标物体识别任务设计

设计目标物体识别任务，并植入相应的模型，根据视觉反馈识别特定颜色、形状等特征的物体，并执行相应的动作，过程中要求学生考虑识别算法、目标检测和定位精度等因素，设计合理的识别任务。

3.实验操作

学生进行实验操作，控制机器人根据视觉反馈执行不同的动作，如拾取特定颜色的物体。

学生根据实验结果对视觉反馈控制程序进行调整和优化，提高识别和执行的准确性和效率。

（四）机械臂模块实训

学习和了解多轴机械臂的基本原理和功能，以及其在工业应用中的作用。

1、示教界面下的机械臂移动及终端的动作配合；

2、rvia可视化界面下机械臂运动轨迹规划及避障操作。

3.实验操作

学生根据目标坐标，通过路径规划器对机械臂进行单点移动、多点轨迹移动，并控制机器人终端拾取物品。

二、主要技术参数

三、设计软件工具

四、设备结构与组成

电气工程数智化实训平台平台采用模块化设计，分别为自行走机器人模块、机械臂模块、电气控制模块、机器视觉模块、显示操作模块、等多功能快换模块组成，实训台采用铝型材结构，台面上用于放置实训对象。

（一）自行走机器人模块

机器人底盘采用双模控制方式（遥控+自主避障导航），根据实训台操作指令进行位置的移动，导航及行进。

工作流程：

可视化Ros工作平台，包含对相机、雷达、底盘驱动、短波雷达、IMU姿态传感器等组成部件的调用，提供SDK，在完成实训任务的同时，具备多种机器人行进算法和控制的输出：

a）对机器人自主行进、建图、避障话题及数据发布直观的认知。

b）Rviz可视窗口下的导航状态监控及目标设定。

c）遥控状态下的差速模式行进转弯、掉头、修正交互感官。

d）NFS挂载与配置。

（二）机械臂动作模块

由六自由度机械臂、机械爪、深度相机组成。机器人本体模仿人的手臂，共有6 个旋转关节，每个关节表示一个自由度，深度相机负责视觉识别及测距、机械爪负责识别后动作执行。

工作流程：

Rviz可视化界面，通过多自由度的运行配合，完成目标的捕捉，在完成实训任务的同时，具备机器视觉及相关的训练和过程演示：

a）手眼标定。

b）机械臂运动学正逆解。

c）AR标签识别。

d）Moveit轨迹规划及避障。

（三）显示操作模块

显示操作模块分别由主逻辑控制、过程感知部分组成，其中主逻辑计算机负责对整体任务指令的发出进行输出，包括自行走底盘的运动、机械臂操作指令、主交互界面的操作指令识别等，监控计算机分别对实训对象的转速、温度、噪声、操作动作等动态参数进行感知和展示。

显示部分采用联动模式进行工作，及操作对象跟换后展示进行联动，包括原理、组成结构等进行三维动画展示；机械臂动作执行状态进行实时显示。

同时采用模块化设计，在具备课件标定后替换功能，实训过程在不单进行操作的交互还具备以下功能：

a）传感技术的应用及常态感知技术展示。

b）基于多模块交互状态下的通讯及响应。

c）NFS服务端、客户端工作模式。

（四）机器视觉模块

机器视觉模块由深度相机、yoloV5、opencv、Svw模型算法等组成，机械臂扫描过程中识别目标特征并获取空间坐标，为机械臂轨迹规划提供终点坐标。

Opencv可视化界面，通过深度相机的调用，在完成实训任务的同时，具备机器视觉识别的相关算法模型调用：

a）Yolo识别过程及模型训练。

b）基于Svw模型的文字提取。

c）图像的读取及抽帧处理。

d）TOF测距空间坐标提取。

（五）电气控制模块

电气控制模块分为：断路接通部分、按钮开关、接通展示部分组成，在实训过程中通过机械臂使断路及控制部件接通，并进行展示，同时实训对象进行感知。

采用模块插拔化设计可以快速完成部件的部署及线路更换，完成相应的更换后可以快速实现：

a）不同课件的替换。

b）实训动部件的更换。

五、主设备配置清单