腾讯手部姿态估计论文NSRM

腾讯AI Lab在2020年的paper，核心思想就是利用2D手部关键点标注生成语义分割标注，监督一个语义分割分支，并把该分支的特征图拼接到姿态估计模块里，用于丰富输入特征图的语义信息。

1. 创新点

本文的创新点主要有两个：

1. 将渲染高斯热图的高斯函数进行了推广，由原本输入一个点渲染的高斯热图，变成了输入一段指节的两头坐标（两个点），渲染得到一块条状的热度图区域。如图所示，左边是固定宽度直接渲染得到的指节，右边是通过高斯函数渲染得到的。

2. 对手指关节热图进行了分组，一共分为6组，由五根手指+手掌关节构成。

2. 细节

1. 通过本文提出的高斯函数，输入一段指节的两个关节点坐标，渲染得到这段指节的Mask，理论上21个关键点的标注可以生成20段关节。通过把这20段关节分为6组分别进行监督学习，训练一个语义分割的头部，并把这个头部的中间特征图拿出来拼接到姿态估计头部的输入中。
2. 实验部分对比了将20段关节渲染到一张热图里，和分为6组分别监督，两种方案特征图对实验结果的影响，发现分组后的效果更好。如图是一张图渲染20段关节的效果。

3. 总结

总的来说就是给姿态估计网络增加了一个语义分割模块，我在自己的项目中进行了实验，能观测到微弱的提升，不过好在引入的计算复杂度也不高，并且学到的这个语义分割模块在有些场景下或许能派上用场，也算是承认这篇paper的价值吧。

文章来源：知乎
作者： 镜子

推荐阅读

• 浅析Pose for Everything: 姿态估计新挑战与个人思考
• CAL：低分辨率姿态估计
• DID-M3D:用于单目3D物体检测的解耦实例深度
• ECCV 2022 | SmoothNet：用神经网络代替平滑滤波器，不用重新训练才配叫“即插即用”

更多嵌入式AI相关技术干货请关注嵌入式AI专栏。欢迎添加极术小姐姐微信（id:aijishu20)加入技术交流群，请备注研究方向。