工业异常检测视觉大模型AnomalyGPT来了

AnomalyGPT介绍

image.png

异常GPT是第一种基于视觉大模型(LVLM)的工业异常检测方法,该方法可以在不需要手动指定阈值的情况下检测工业图像中的异常。现有的工业异常检测方法只能提供异常分数,需要手动设置阈值,而现有的视觉大模型无法检测图像中的异常。异常GPT不仅可以指示异常的存在和位置,还可以提供有关图像的信息。

image.png

模型结构

异常GPT利用预先训练的图像编码器(卷积神经网络)和大型语言模型(LLM),通过模拟的异常数据来对齐工业异常检测图像及其相应的文本描述。异常GPT使用了一种轻量级的、基于视觉文本特征匹配的图像解码器来获得定位结果,并设计通过提示学习的方式来为大语言模型(LLM)提供细粒度的语义,使用提示词嵌入实现对视觉大语言模型的迁移学习微调。异常GPT方法也可以在提供很少正常样本的情况下检测以前看不见的工业品异常缺陷。真的实现了零代码零训练的工业缺陷检测

image.png

测试效果

源、多格式一维与二维条形码图像处理库。它最初是从Java ZXing库移植而来的,但经过进一步开发,现在在运行时和检测性能方面有了许多改进。它可以读取和写入多种格式的条形码。包括工业DM码、RQ码、以及其他常见的各种一维条形码。最新的ZXING2.2版本,支持旋转、反色、镜像、二值、多尺度解码。源码地址:

对比测试

模型基于Halcon的工业异常缺陷数据集训练以后,在提示工程提示词辅助下 异常GPT展现出了惊人的零样本缺陷检测能力与缺陷定位能力,从此 算法工程师再也不用为找不到缺陷样本而烦恼了,用异常GPT 工业视觉检测又变得容易落地了吗?这个我不敢想下去了…….

image.png

零样本提示词直接检测缺陷

image.png

零样本提示词直接检测缺陷

image.png

从此让工业异常检测跟玩ChatGPT一样简单,做个提示工程师人人可以!

作者:gloomyfish
文章来源:OpenCV学堂

推荐阅读

更多嵌入式AI干货请关注嵌入式AI专栏。欢迎添加极术小姐姐微信(id:aijishu20)加入技术交流群,请备注研究方向。

推荐阅读
关注数
18808
内容数
1351
嵌入式端AI,包括AI算法在推理框架Tengine,MNN,NCNN,PaddlePaddle及相关芯片上的实现。欢迎加入微信交流群,微信号:aijishu20(备注:嵌入式)
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息