实习项目-论文 -基于一种多材料表面瑕疵AI检测方法及其系统

   一种多材料表面瑕疵AI检测方法及其系统--刘瑞

技术领域

本文属于智能制造，人工智能，机器视觉，机器学习，AI大模型技术领域。

背景技术

随着机器学习与AI技术的发展，使得在AI检测方面机器换人成为可能，由于工业质量要求高，通常的检测正确率要求99%以上，而通常的AI检测算法基于一种模型时，检测瑕疵的正确性在90%左右，特别是当被检测物体表面有多种材料组成时，比如：运动鞋和时尚鞋类，其表面通常由多种颜色的材料组成，矿产品表面受其他物质的参杂或氧化形成多种形态，以及医疗皮肤检测针对不同肤色等。由于被检测材料表面的颜色和感光程度的不同，当前的单一模型的AI机器学习算法在混合了多种形态的训练对象后，对被检测物体的瑕疵检测正确率难易达到工业质量标准的要求。

当前的大语言模型LLM基于对大规模文本样本训练，采用人机对话机器翻译理解，以及生成式人工智能，生成人类提出问题的答案，图像与视频大模型也同样是基于生成式AI生成视频图像。这些大模型技术不能满足工业瑕疵检测的需求。

发明内容

为了解决上述问题，本发明专利公开一种多材料表面瑕疵AI检测方法及其系统 ，系统组成为：视觉单元，表面特征识别单元，AI检测单元，机器学习训练单元；AI检测方法如下：1）机器学习训练利用单元表面特征识别单元对材料表面的分类结果，对瑕疵图像进行训练，针对每一种材料表面瑕疵形成模型库，进而形成整个系统的多模型库；2）AI检测单元从视觉单元获得被检测物体的图像，利用单元表面特征识别单元对材料表面的分类结果，从多模型库获得该材料的模型库，3）AI检测单元利用该材料的模型库对被检测物体的图像进行检测。本发明的优势在于当被检测物体在具有多材料表面特征时，按特征分类建立模型库，AI检测单元按当前被检测物体的分类取相对应的模型库，从而提高瑕疵检测的准确率，避免在巨大混合模型库进行推理计算，进而减少检测时间 ，生产环境实测的瑕疵检测正确率可达到99%。 

为达到上述目的，本发明的技术方案是这样实现的：

对瑕疵的AI检测方法如下：

1. 机器学习训练单元利用视觉单元采集多种材料表面的瑕疵图像进行训练，针对每一种材料表面瑕疵形成模型库，按照多种材料表面的不同特征分类，进而形成整个系统的多模型库。应用本专利的成型鞋瑕疵检测，可以按照鞋帮面或鞋底材料表面的颜色和材料作为分类依据，通常材料有皮面、翻毛皮，PU、针织以及网孔等6种，颜色可按7种，鞋底颜色最多有7种，这就形成294个分类，在每一个分类中对各种瑕疵样本作为输入训练模型库， 通常需要检测的瑕疵有6种，每种训练的样本数1000个以上，系统总体训练模型参数达到百万级以上。

2. AI检测单元从视觉单元获得被检测物体的图像，首先对被检测物体表面材料进行识别，获得被检测物体材料表面与多模型库种最接近的分类，从多模型库获得该材料的模型库，较佳地，识别的方法可以是按照采集图像的灰度或颜色。

3．AI检测单元利用该材料的模型库对被检测物体的图像进行检测，本发明在对瑕疵检测推理时，选取与当前被检测物体材料表面最接近分类模型库，比如成型鞋瑕疵检测，可以使对当前被检测物体的推理的模型数量是不分类混合模型推理的1/294，也就是推理效率提高了294倍，且检测的正确率达到99%，检测节拍为10秒钟，这使得工业大模型在实际落地时可以满足生产线的节拍要求。

本发明的系统组成为：视觉单元，表面特征识别单元，AI检测单元，机器学习训练单元，被检测物体传送单元、人机交互单元以及视觉单元启动装置 。视觉单元通过高速网络与AI检测单元和机器学习训练单元连接，人机交互单元是分别运行在AI检测单元和机器学习训练单元上的计算机软件，被检测物体传输单元是一个流水线输送装置，运送被检测物体进入视觉检测单元的视觉传感器检测视野范围内，视觉单元中的多个视觉传感器部署在流水线传输装置上，视觉单元启动装置用传感器侦测被检测物体到达视觉传感器拍照位置，通知图像处理计算机，启动视觉单元开始拍照。

较佳地，为提高视觉检测精度，视觉单元由部署在被检测物体四周的多个视觉传感器以及图像处理计算机组成，每个视觉传感器可以对被检测物体的局部区域进行图像采集，图像处理计算机可以将多个视觉传感器采集的图像整合重建被检测物体的二维及其三维的全局图。

较佳地，视觉传感器为2D相机和3D相机，系统可检测二维图像和三维点云图像的瑕疵。

AI检测单元， 由基于神经网络的推理算法软件和AI算力计算机组成。

人机交互单元包括生产交互模块和机器学习训练模块，生产交互模块调用AI检测单元对被检测物体进行检测，将检测结果标记并显示瑕疵类别和位置，当发现错检瑕疵，生产交互模块启动机器学习训练模块，对新发现的瑕疵进行训练 。

机器学习训练模块是机器学习训练单元的交互软件，由人专家对视觉单元采集图像种的瑕疵进行标记。

附图说明

图1 为本专利的工作原理示意图

图2 为应用本发明的第一实施例 

具体实施方式

    附图1为本专利的工作原理示意图

    

101. 视觉单元，由多个视觉传感器组成，多个传感器固定在各个需要检测的位置，采集被检测物体图像；

102 表面特征识别单元，对被检测物体材料表面特征识别，本实施例识别材料表面的颜色和材质，颜色为：白，黑，红，蓝，黄，紫，橙，绿，当一个相机采集区域的材料表面为多个颜色时，可按灰度特征；比如，成型鞋瑕疵检测的材料分类识别为：亮皮面，翻毛皮，针织面等。

103机器学习训练单元，当系统处于训练学习模式时，对已经采集并表面分类完成后的图像成品或瑕疵进行学习训练，按材料表面特征分类生成多模型库；

104  AI检测单元，当系统处于生产模式时，按当前被检测物体的特征取对应的模型库，进行推理检测；当AI检测单元遇到不能正确检测的瑕疵时，会调用机器学习训练单元对新发现的瑕疵进行学习训练；

 

图2 为应用本发明的第一实施例

本实施例为成型鞋表面瑕疵检测装备，视觉单元由部署在成型鞋四周的六台2D相机及其光源组成。

201-2011，201为2D相机，2011 为光源；同理202-2022，203-32031，204-2041，205-2051，206-2061，六组相机通过高速以太网交换机连接到图像采集计算机，本实施例图像采集计算机和AI算力计算机共用一台计算机，AI检测单元时一个推理检测软件运行在计算机上，采集的6组相机的图像存储在内存中，AI检测单元设计有多个并行检测的任务，对采集的图像并行推理检测；

207 为被检测的成型鞋，包含鞋帮面和鞋底。；

208 接近传感器，检测成型鞋是否到达视觉单元的拍照位置，本实施例使用光电传感器检测，传感器通过网络与图像采集计算机连接，当检测到成型鞋后，通知计算机控制视觉单元的六台相机拍照采集图像。

应用本发明的第二实施例

本实施例为人脸皮肤检测诊断机器人，视觉单元包含：1）2D相机和白光光源，紫外光源；2）3D相机，采集人脸的3D点云；

表面特征识别单元，识别人脸皮肤颜色，白，黄，黑，棕四类肤色作为分类；

AI检测单元按患者皮肤颜色分类取模型库，进行推理诊断，给出诊断结果报告；

机器学习训练单元按照机器学习训练单元对皮肤的分类，分别训练相对应的模型库。