作者：董岩
首发：3D视觉工坊微信公众号
1 、前言
在特征跟踪时，有一个重要的概念是数据关联（Data Association）。所谓数据关联，可以理解为：哪些数据是由同一个源产生？对于传统图像而言，我们可以计算特征的描述子，进行匹配从而确定图像中的哪些点是同一个特征。而对于事件相机而言，由于数据信息较少，很难进行数据关联，虽然也产生了事件相机的描述子DART（一种事件相机描述子——DART），但有很多不依赖描述子进行数据关联的方法。本推送介绍论文”Event-based Feature Tracking with Probabilistic Data Association”中的概率关联方法。
2 、方法基本思想
首先说明特征跟踪的思路：在一帧上选取一些事件点，然后在一段儿时间后确定这个事件点在当前帧上的位置，从而实现跟踪。由此我们需要寻找一个一个“时间-空间窗口”，我们判断这个窗口中的哪些事件是由同一个事件源产生。一个简单的示意图如下，在几帧图中我们把事件的速度估计出来，投射到最初的位置，从而确定是哪个事件源。
在这里我们区分一下两种表述，“事件点”指这个时空窗内的发生的所有事件，假设有n个，角标用i或k表示；“事件源”指产生这些事件点的原因（根据事件生成模型，事件产生原因就是边缘信息），共有m个，用下角标j表示索引。这样一来，一个事件点的坐标x，可以表示成：
其中表示噪声，表示数据关联，是一个从{1,2,…n}到{1,2,…m}的映射。这个式子理解为：一个事件点由一个相关联的事件源+噪声产生。现在如果有两个事件点和由同一个事件源产生，那么它们在初始时刻的位置是同一个，假设运动速度是恒定的v，那么可以得到下式：
即两个事件点在初始时刻的位置相同，后面的花体数字可理解成为delta函数，即只有在两个事件点是同一个事件源时取值。将上式进行变形，写成概率形式，得到下式：
式中表示第i/k个事件点是由事件源j造成的概率。那么这个概率如何求？这里又是一个概率问题。我们假设一个事件源由于噪声，产生的事件点坐标具有一定的范围，范围大小和协方差相关；同时我们假设事件源的运动速度，那么在时空窗中某一个事件源产生的斜柱体内的所有事件点均有可能是这个事件源产生。
那么一个事件点是某一个事件源的概率则为：所有事件源产生的斜柱体的概率分布中是某一个事件源的概率分布的概率，表达式为：
其中是正态分布，第一个变量为关于的变量。分号后面的表示事件源的期望，为协方差。这个式子给出了假定速度情况下，某一个事件点是某个事件源产生的概率。（式中包含了速度和两个没有提到的参数，是用于事件点投影后特征对齐的参数，采用了EM-ICP算法[2]，不做过多介绍，并不影响理解论文的主要思路）
那么此时我们可以求出任意两个事件点之间的代价函数，函数可理解为：假设速度下，任意两个事件点是同一个事件源的产生的情况下，在初始位置投影应该相同，否则产生误差；这个误差就是由于假设的速度不合适，导致数据关联不理想。那么使代价函数最小，便得到了最优的速度估计，同时便获得了数据关联的概率。
3 、EM框架
文章采用了EM算法求解这个问题：先假设速度v不变，求取关联概率（式6），这是Expectation。之后保证关联概率r不变，求取最小化式7，获得最小化时的速度，这是Maximization。从而不断迭代，直到（7）的误差足够小停止，认为得到了最优的速度。
那么（7）式如何求解？文章将其变成了最小二乘问题，令（7）式为0，变为以下形式：
最优解Y满足：
从而求得最佳速度v。
重新整理整个EM框架，思路如下：假设速度v，利用式（6）求取关联概率，再利用式（8）（9）求取最佳速度，直到误差函数（7）足够小，得到v。
4 、特征跟踪
在EM框架完成计算最优速度v之后，我们可以计算事件源在下一帧时刻所对应的坐标，再进行下一轮的EM优化与特征跟踪。表达式也很简单，就是下一时刻位置等于当前的位置在预期速度和时间下的位置：
5 、总结
首先总结一下论文的基本思想：为了实现特征跟踪，要做的就是估计某一个特征的运动速度；如何估计这个速度，文章采用EM框架，即假设速度已知明确哪些事件点是由同一个事件源产生，再保证关联性不变最小化误差得到最佳的估计速度，从而不断迭代优化实现寻找最佳速度，再进行跟踪。
个人的一点儿感悟。这篇文章比较出色之处在于：1. 数据关联是概率形式的，并且在实际计算时并没有显式地给出关联性，而是在迭代优化中不断更新概率；2. 求解速度的方法虽然推送中没有展开，但采用的最小二乘思想值得学习；3. 本文只利用事件相机数据进行特征跟踪，并没有利用传统相机的图像做初始化，是纯事件相机数据特征跟踪的典型代表（后续多篇特征跟踪论文将本文方法归做一类）。但也存在一定的问题，我认为在计算数据关联时计算了滑窗中所有的事件点两两之间的关联概率，计算复杂度较高，同时采用EM算法是迭代求解，或许无法实现实时处理。
参考文献：
[1]. AlexZihao Zhu, Nikolay Atanasov, and Kostas Daniilidis, “Event-based FeatureTracking with Probabilistic Data Association”, IROS, 2017
[2]. S.Granger and X. Pennec, “Multi-scale em-icp: A fast and robust approach forsurface registration,” in European Conference on Computer Vision, 2002.
本文仅做学术分享，如有侵权，请联系删文。
推荐阅读
重点介绍：1、3D视觉算法；2、vslam算法;3、图像处理；4、深度学习;5、自动驾驶;6、技术干货。 博主及合伙人分别来国内自知名大厂、海康研究院，深研3D视觉、深度学习、图像处理、自动驾驶、目标检测、VSLAM算法等领域。
欢迎关注微信公众号
