1 项目说明
随着制造业的产线自动化、智能化需求的不断提升，机器人和AI视觉技术的结合越来越广泛，如：视觉引导的涂装、焊接或机械手抓取等。
在项目落地中，目标物体轮廓的精准定位非常关键。在视觉定位过程中，需要通过对相机的标定，来求取相机和实际物体的坐标关系，进而转化成机械手可以识别的坐标空间。但在实际场景中，目标所处的环境非常复杂，遨博机器人结合自身经验，总结出了一套深度学习抓取方案。
2 数据准备
数据集中提供了采用labelme进行多边形标注的30张图片。点击此处下载数据集
准备工作
先指定路径到项目文件夹
cd path_to_paddlexproject
建立dataset_labelme文件夹，在该文件夹下再分别建立JPEGImages和Annotations文件夹，将图片存放于JPEGImages文件夹，Annotations文件夹用于存储标注的json文件。
打开LabelMe，点击”Open Dir“按钮，选择需要标注的图像所在的文件夹打开，则”File List“对话框中会显示所有图像所对应的绝对路径，接着便可以开始遍历每张图像，进行标注工作.
更多数据格式信息请参考数据标注说明文档
目标边缘标注
打开多边形标注工具（右键菜单->Create Polygon)以打点的方式圈出目标的轮廓，并在弹出的对话框中写明对应label（当label已存在时点击即可，此处请注意label勿使用中文），具体如下提所示，当框标注错误时，可点击左侧的“Edit Polygons”再点击标注框，通过拖拉进行修改，也可再点击“Delete Polygon”进行删除。
点击”Save“，将标注结果保存到中创建的文件夹Annotations目录中。
格式转换
LabelMe标注后的数据还需要进行转换为MSCOCO格式，才可以用于实例分割任务的训练，创建保存目录dataset，在python环境中安装paddlex后，使用如下命令即可：
paddlex --data_conversion --source labelme --to MSCOCO --pics dataset_labelme/JPEGImages --annotations dataset_labelme/Annotations --save_dir dataset
数据切分
将训练集、验证集和测试集按照7：2：1的比例划分。
paddlex --split_dataset --format COCO --dataset_dir dataset --val_value 0.2 --test_value 0.1
数据文件夹切分前后的状态如下:
dataset/ dataset/ ├── JPEGImages/ --> ├── JPEGImages/ ├── annotations.json ├── annotations.json ├── test.json ├── train.json ├── val.json
3 模型选择
实现抓取，模型的选择多种多样，最终选择了PaddleX提供的实例分割算法Mask RCNN
4 模型训练
在项目中，我们采用MaskRCNN作为木块抓取的模型。具体代码请参考train.py
运行如下代码开始训练模型：
python code/train.py
若输入如下代码，则可在log文件中查看训练日志
python code/train.py > log
训练过程说明
5 训练可视化
在模型训练过程，在train函数中，将use_vdl设为True，则训练过程会自动将训练日志以VisualDL的格式打点在save_dir（用户自己指定的路径）下的vdl_log目录。
用户可以使用如下命令启动VisualDL服务，查看可视化指标
visualdl --logdir output/mask_rcnn_r50_fpn/vdl_log --port 8001
服务启动后，按照命令行提示，使用浏览器打开 http://localhost:8001/
6 模型导出
模型训练后保存在output文件夹，如果要使用PaddleInference进行部署需要导出成静态图的模型,运行如下命令，会自动在output文件夹下创建一个inference_model的文件夹，用来存放导出后的模型。
paddlex --export_inference --model_dir=output/mask_rcnn_r50_fpn/best_model --save_dir=output/inference_model
7 模型预测
运行如下代码：
python code/infer.py
预测结果如下：
8 边缘坐标的获取
进一步获取目标的，则可在log文件中查看训练日志
python code/point.py > log
边缘坐标可视化效果：
9 预测部署
为了更好的满足用户的部署需求，在案例提供了工业级别的部署方式，支持用户能够在windows上使用C#部署，支持用户输入单张图片、图片文件夹和视频流进行预测。
微信联系
