爱笑的小姐姐 · 2022年08月24日 · 北京市

使用OpenCV进行颜色分割

image.png

在滤波、变换、缩放等任务中,图像分割具有重要的意义。图像分割是将不同的对象划分为不同的部分,并将这些区域以明显的颜色或者记号标记出来。图像分割是使用轮廓、边界框等概念进行其他高级计算机视觉任务(例如对象分类和对象检测)的基础。良好的图像分割为我们后续的图像分类以及检测奠定了基础。

在计算机视觉中主要有3种不同的图像分割类型:

1.颜色分割或阈值分割

2.语义分割

3.边缘检测

在本文里,我们将介绍基于颜色的图像分割,并通过OpenCV将其实现。小伙伴可能会问,当我们拥有像Caffe和Keras这样的工具时,为什么要使用拥有21年历史的OpenCV库。与Caffe和Keras等现代SOTA DL方法相比,OpenCV虽然在准确性方面有一些落后,但是运行速度相较于上述方法具有得天独厚的优势。

image.png

跨框架进行图像分类任务的CPU性能比较

即使使用最著名的神经网络框架之一的YOLOv3进行对象检测时,其运行速度也是不尽如人意的。此外,Darknet使用OpenMP(应用程序编程接口)进行编译的时间几乎是OpenCV的18倍。这更加说明了使用OpenCV的速度是比较快速的。

image.png

在OpenCV和Darknet上进行YOLOv3培训时CPU性能

颜色分割可用于检测身体肿瘤、从森林或海洋背景中提取野生动物的图像,或者从单一的背景图像中提取其他彩色物体。下面几幅图是图像分割的几个典型示例。:

image.png
image.png

颜色分割示例

从以上示例中可以看出,尽管OpenCV是一种更快的方法,但是它对于图像的分割结果并不是非常的理想,有时会出现分割误差或者错误分割的情况

接下来我们将介绍如何通过OpenCV对图像进行颜色的分割。这里我们有一张含有鸟的图片,我们的目标是通过颜色分割尝试从图片中提取这只鸟。

image.png

含鸟的图片

首先我们导入完成该任务所需的所有库和这张图像:


import cv2 as cv
import matplotlib.pyplot as pltfrom PIL
import Image
!wget -nv https://static.independent.co.uk/s3fs-public/thumbnails/image/2018/04/10/19/pinyon-jay-bird.jpg -O bird.png
img = Image.open('./bird.png')

接下来我们使用滤波器对该图像进行预处理,对图像进行模糊操作,以减少图像中的细微差异。在OpenCV中提供了4个内置的滤波器,以满足用户对图像进行不同滤波的需求。这4种滤波器的使用方式在下面的代码中给出。但是,针对于本文中需要分割的图像,我们并不需要将4种滤波器都使用。


blur = cv.blur(img,(5,5))
blur0=cv.medianBlur(blur,5)
blur1= cv.GaussianBlur(blur0,(5,5),0)
blur2= cv.bilateralFilter(blur1,9,75,75)

下图是图像滤波模糊后的结果:

image.png

模糊后的图像

如果小伙伴对图像滤波感兴趣,可以在这里进行了解https://opencv-python-tutroal...,这里再做过多的介绍。

接下来我们需要将图像从BGR(蓝绿色红色)转换为HSV(色相饱和度值)。为什么我们要从BGR空间中转到HSV空间中?因为像素B,G和R的取值与落在物体上的光相关,因此这些值也彼此相关,无法准确描述像素。相反,HSV空间中,三者相对独立,可以准确描述像素的亮度,饱和度和色度。

hsv = cv.cvtColor(blur2, cv.COLOR_BGR2HSV)

这个操作看似很小,但当我们尝试找到要提取的阈值或像素范围时,它会使我们的工作变得更加简单。

接下来是“颜色分割”的最重要一步,即“阈值分割”。这里我们将确定要提取的所有像素的阈值。使用OpenCV进行颜色分割中最重要步骤——阈值分割,这可能是一个相当繁琐的任务。即使我们可能想到通过使用颜色选择器工具来了解像素值,但是仍然需要进行不断的尝试,以便在所有像素中获取期望的像素,有些时候这也可能是一项艰巨的任务。具体操作如下:


low_blue = np.array([55, 0, 0])
high_blue = np.array([118, 255, 255])
mask = cv.inRange(hsv, low_blue, high_blue)

上面代码中最后一行的“Mask”将所有不在描述对象范围内的其他像素进行覆盖。程序运行结果如下图所示:

image.png

Mask

接下来,运行最后的代码以显示由Mask作为边界的图像。所使用的代码和程序运行结果在下面给出:

res = cv.bitwise_and(img,img, mask= mask)

image.png

从颜色分割中提取图像

那么通过上面的方式,我们就实现了基于颜色的图像分割,感兴趣的小伙伴们可以通过上面的代码和步骤进行尝试,看看能否满足自己的图像分割需求。

作者:小白
文章来源:小白学视觉

推荐阅读

更多汽车电子干货请关注 嵌入式AI 专栏。欢迎添加极术小姐姐微信(id:aijishu20)加入技术交流群,请备注研究方向。
推荐阅读
关注数
18838
内容数
1371
嵌入式端AI,包括AI算法在推理框架Tengine,MNN,NCNN,PaddlePaddle及相关芯片上的实现。欢迎加入微信交流群,微信号:aijishu20(备注:嵌入式)
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息