算盘模板介绍_异音_苹果分拣 - xuelang-group/suanpan-docs GitHub Wiki

算盘模板介绍-更新记录

日期 版本 更新人 备注
2019/6/18 V0.1 张程伟 增加异音检测和苹果分拣两个模板的介绍。
2019/6/19 V0.2 张程伟 更新苹果分拣模板ID和截图。

算盘模板介绍

异音检测模板介绍

边缘部署模板ID:3598

离线仿真模板ID:3682

本模板演示了通过在线采集加速度计震动信号,并通过信号处理算法检测电机异音。

边缘部署模板

离线仿真模板

1离线模板使用说明

后面板点击“部署”按钮,等待所有节点都显示绿色钩图标。

如下方式打开前面板,如果选择了节点可以单击后面板空白处取消当前节点的选择。

打开前面板

选中web input节点,在“测试输入”文本框输入如下内容。

{
  "force": true,
  "resolution": 16,
  "filePath": "https://suanpan-test.oss-cn-beijing.aliyuncs.com/sp_share/1_a.wav"
}

filePath为录好的测试电机震动信号文件的URL,如需变动请对应的修改此URL链接。然后点击发送请求,如果一切正常将看到前面板更新。

发送请求

更新后的前面板

工作原理

“读取测量数据文件”节点接受了请求并从指定的URL下载了录音文件。录音文件包括了测试电机正转反转以及加速减速过程的震动传感器高频震动信号。首先一些节点负责把加速到匀速的录音区域截取出来供接下来的分析节点使用输出检测结果。另外一方面完整的波形图和频谱图也显示出,提供可视化效果。频谱图横坐标为时间,可以看到,整个流程录音用了8秒,前半部分为电机正转,后半部分为电机反转,波形图中间比较大的震动幅值是电机反向导致的。

苹果分拣模板介绍

模板ID:3677

本模板演示了视觉苹果品质分拣,从摄像头采集图片到机器学习模型预测全流程。

苹果分拣部署边缘模板

工作原理

相机接收前面板按键发送的拍照指令后按照一定频率拍照。当经过矫正后的图片中检测到苹果主体时,“Staging”节点会跟踪每个苹果的坐标并在其滚出相机视野时统计所有关于此苹果的照片,如果收集了大于模型指定数量张数的图片,比如实例中模型指定的6张图片,“Staging”节点将会发送指定张图片到模型预测节点进行预测,预测和历史统计结果将显示在前面板。

苹果分拣前面板

相机拍出的图片不能直接进行分析而是需要向进行镜头畸变的矫正。畸变矫正原理如下图,可以分解为镜头畸变和四边形感兴趣区域矫正两个步骤。

相机拍摄的图片

镜头畸变矫正后结果

四边形感兴趣区域矫正后结果

苹果分选使用的模型是基于TensorFlow Keras 构建的深度学习卷积网络。模型输入为同一个苹果的多张多角度图片,输出一个范围在0~1之间苹果的品质值。模型内部参考ResNet网络结构构建。模型训练数据均通过另外一个类似的算盘模板在线收集得来。

苹果分选模型结构示意图