ronghuaiyang · 2021年06月30日

BBAug: 一个用于PyTorch的物体检测包围框数据增强包

首发:AI公园公众号
作者:Harpal Sahota
编译:ronghuaiyang

导读

实现了Google Research,Brain Team中的增强策略。

image.png

像许多神经网络模型一样,目标检测模型在训练大量数据时效果最好。通常情况下,可用的数据有限,世界各地的许多研究人员正在研究增强策略,以增加可用的数据量。谷歌的大脑团队进行了一项这样的研究,并发表在了一篇论文中,名为Learning Data Augmentation Strategies for Object Detection。在这篇论文中,作者确定了一组增强称为策略,它对目标检测问题表现良好。该策略通过增强搜索获得,提高了通用模型的性能。

作者将增强策略定义为一组子策略。在模型进行训练时,随机选择其中一个子策略用于增强图像。在每个子策略中都有要依次应用于图像的增强。每个转换也有两个超参数:概率和幅度。概率表示该增强将被应用的可能性,而幅度表示该增强的程度。下面的代码显示了本文中使用的策略:

policy = [        [('TranslateX_BBox', 0.6, 4), ('Equalize', 0.8, 10)],          [('TranslateY_Only_BBoxes', 0.2, 2), ('Cutout', 0.8, 8)],       [('Sharpness', 0.0, 8), ('ShearX_BBox', 0.4, 0)],        [('ShearY_BBox', 1.0, 2), ('TranslateY_Only_BBoxes', 0.6, 6)],   [('Rotate_BBox', 0.6, 10), ('Color', 1.0, 6)],]

在这个策略中有5个子策略,如果我们取第一个子策略,它就包含了_TranslateX\_BBox_和_Equalize_增强。_TranslateX\_BBox_操作在x轴上转换图像的幅度为4。在本例中,大小并不直接转换为像素,而是根据大小缩放为像素值。该增强的概率也为0.6,这意味着如果该增强被选中,则应用该增强的概率为60%。随着每个增强都有一个相关的概率,引入了一个随机的概念,给训练增加了一定程度的随机性。总的来说,Brain Team已经提出了4个策略: v0, v1, v2和v3。本文中显示了v0策略,其他三个策略包含更多的子策略,这些子策略具有几种不同的转换。总的来说,增加分为三类,作者定义为:

颜色操作: 扭曲颜色通道,不影响边界框的位置。

几何操作:几何扭曲图像,这相应地改变了边界框的位置和大小。

包围框操作:只会扭曲包围框中包含的像素内容。

BBAug

那么BBAug)在这方面有什么贡献呢?BBAug是一个python包,它实现了谷歌Brain Team的所有策略。这个包是一个包装器,可以更容易地使用这些策略。实际的扩展是由优秀的imgaug包完成的。

上面显示的策略应用于一个示例图像,如下所示。每一行是一个不同的子策略,每一列是该子策略的不同运行。
image.png

image.png
image.png

正如你所看到的,在子策略的运行之间有一定程度的变化,因此给训练增加了一定程度的随机性。这只是BBAug实施的4个策略之一。要查看所有4个策略的完整可视化,请查看包的GitHub页面:https://github.com/harpalsaho...。该包还提供了一些有用的功能,比如定制策略的可能性,以及位于图像外部的边界框,如果它们部分位于图像外部,则会被自动删除或剪切。例如,在下面的图像中,应用了平移增强,将边界框部分推到图像外部。你可以看到新的边界框已经缩小以适应这一点。

image.png

也可以创建只影响边界框区域的增强。在下图中,solarisaugmentation只应用于边界框区域:

image.png

用随机策略增加单个图像有多容易?就像这样简单:

from bbaug import policies# select policy v0 setaug_policy = policies.policies_v0() # instantiate the policy container with the selected policy setpolicy_container = policies.PolicyContainer(aug_policy)# select a random policy from the policy setrandom_policy = policy_container.select_random_policy() # Apply the augmentation. Returns the augmented image and bounding boxes.# Image is a numpy array of the image# Bounding boxes is a list of list of bounding boxes in pixels (int).# e.g. [[x_min, y_min, x_man, y_max], [x_min, y_min, x_man, y_max]]# Labels are the class labels for the bounding boxes as an iterable of ints e.g. [1,0]img_aug, bbs_aug = policy_container.apply_augmentation(random_policy, image, bounding_boxes, labels)# image_aug: numpy array of the augmented image# bbs_aug: numpy array of augmneted bounding boxes in format: [[label, x_min, y_min, x_man, y_max],...]

总结

该包实现了谷歌Brain Team推导出的增强策略。目前,已经实现了所有4个策略,该包还附带了notebooks,以帮助用户将这些策略集成到他们的PyTorch训练pipeline中。

—END—

英文原文:https://towardsdatascience.co...

推荐阅读

关注图像处理,自然语言处理,机器学习等人工智能领域,请点击关注AI公园专栏
欢迎关注微信公众号
AI公园 公众号二维码.jfif
推荐阅读
关注数
8241
内容数
210
关注图像处理,NLP,机器学习等人工智能领域
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息