计算机视觉中究竟有哪些好用的目标跟踪算法（下）

雷锋网 AI科技评论按：本文源自YaqiLYU正在知乎题目【打算机视觉中，目前有哪些经典的倾向跟踪算法？】下的答复，雷锋网 AI科技评论已获取授权揭橥。

VOT2015竞赛VOT2015 Challenge Home（） 依期而至，这一年有60个精挑细选的序列，62个tracker，最大看点是深度研习入手进击tracking，MDNet直接拿下当年的冠军，而贯串深度特性的联系滤波本领DeepSRDCF是第二名，首要管理界线效应的SRDCF仅HOG特性排正在第四：

跟着VOT竞赛的影响力推广，举办方也是专一良苦，经典的和顶尖的齐聚一堂，百家争鸣，众达62个tracker皇城PK，华山论剑。除了前面先容的深度研习和联系滤波，又有贯串object proposals(类物体区域检测)的EBT(EBT：Proposal与Tracking不得不说的阴私 - 知乎专栏)（）排第三，Mean-Shift类颜色算法ASMS是保举及时算法，还请预防另一个颜色算法DAT，而第9的谁人Struck依然不是本来的了。除此之外，还能看到经典本领如OAB, STC, CMT, CT, NCC等都排正在倒数身分， 经典本领依然被远远拉开了隔绝，因此正在决议用那些经典本领之前，能够先测试几个新算法看看，说未必有惊喜。

正在先容SRDCF之前，先来剖判下联系滤波有什么谬误。总体来说，联系滤波类本领对急迅变形和急迅运动情状的跟踪结果欠好。

急迅变形首要由于CF是模板类本领。容易跟丢这个对比好贯通，前面剖判了联系滤波是模板类本领，假如倾向急迅变形，那基于HOG的梯度模板决定就跟不上了，假如急迅变色，那基于CN的颜色模板决定也就跟不上了。这个还和模子更新战略与更新速率相合，固定研习率的线性加权更新，假如研习率太大，局限或短暂遮挡和任何检测不精确，模子就会研习到靠山新闻，积蓄到必定水准模子随着靠山私奔了，一去不复返。假如研习率太小，倾向依然变形了而模板仍旧谁人模板，就会变得不清楚倾向。(举个例子，众年不睹的同砚，你很可以就认不出了，而时常碰头的同砚，假使变动很大你也清楚，由于常睹的同砚正在你大脑内中的模子正在陆续更新，而众年不睹便是永远不更新)

急迅运动首要是界线效应(Boundary Effets)，况且界线效应形成的过失样本会形成分类器判别力不敷强，下面分陶冶阶段和检测阶段区分研究。

除了谁人最原始样本，其他样本都是“合成”的，100*100的图像块，惟有1/10000的样本是确实的，云云的样本集基础不行拿来陶冶。假如加了余弦窗，因为图像周围像素值都是0，轮回移位进程中只须倾向维持无缺那这个样本便是合理的，惟有倾向中央亲切周围时，倾向逾越界线的那些样本是过失的，云云虽不确实但合理的样本数目补充到了大约2/3(padding= 1)，假使云云仍旧有1/3(3000/10000)的样本是不对理的，这些样本会低落分类器的判别才具。再者，加余弦窗也不是“免费的”，余弦窗将图像块的周围区域像素一共造成0，多量过滤掉分类器历来十分须要研习的靠山新闻，底本陶冶时判别器能看到的靠山新闻就十分有限，咱们还加了个余弦窗遮住了靠山，云云进一步低落了分类器的判别力(是不是天主正在我前遮住了帘。不是天主，是余弦窗)。

检测阶段，联系滤波对急迅运动的倾向检测对比乏力。联系滤波陶冶的图像块和检测的图像块巨细务必是相同的，这便是说你陶冶了一个100*100的滤波器，那你也只可检测100*100的区域，假如盘算通过加更大的padding来扩展检测区域，那样除了扩展了丰富度，并不会有什么好处。倾向运动可以是倾向自己搬动，或摄像机搬动，遵照倾向正在检测区域的身分分四种情状来看：

2、假如倾向搬动到了界线邻近但还没有出界线，加了余弦窗从此，局限倾向像素会被过滤掉，这时辰就没法担保这里的反响是全体最大的，况且，这时辰的检测样本和陶冶进程中的那些不对理样本很像，因此很可以会凋谢。

3、假如倾向的一局限依然移出了这个区域，而咱们还要加余弦窗，很可以就过滤掉了仅存的倾向像素，检测凋谢。

以上便是界线效应(Boundary Effets)，保举两个主流的管理界线效应的本领，但速率对比慢，并不保举用于及时场地。

SRDCF基于DCF，类SAMF众标准，采用更大的检测区域(padding = 4)，同时列入空域正则化，处分界线区域的滤波器系数，没有闭合解，采用高斯-塞德尔本领迭代优化。

另一种本领是Hamed Kiani提出的基于灰度特性MOSSE的CFLMCorrelation Filters with Limited Boundaries（）和基于HOG特性的BACF，首要思绪是采用较大尺寸检测图像块和较小尺寸滤波器来进步确实样本的比例，或者说滤波器填充0以维持和检测图像相同大，同样没有闭合解，采用ADMM迭代优化：

实在这两个管理计划挺像的，都是用更大的检测和更新图像块，陶冶感化域对比小的联系滤波器，分别点是SRDCF的滤波器系数从中央到周围光滑过渡到0，而CFLM直接用0填充滤波器周围。

VOT2015联系滤波方面又有排正在第二名，贯串深度特性的DeepSRDCF，由于深度特性都十分慢，正在CPU上别说高速，及时都到不了，固然职能十分高，但这里就不保举，先跳过。

VOT2016竞赛VOT2016 Challenge Home（），已经是VOT2015那60个序列，可是这回做了从新标注特别平允合理，本年有70位参赛选手，预睹之中深度研习依然雄霸世界了，8个纯CNN本领和6个贯串深度特性的CF本领多半出类拔萃，又有一片的CF本领，最最最紧要的是，良心举办方果然公然了他们能拿到的38个tracker，局限tracker代码和主页下载地点：VOT2016 Challenge Trackers（）(从此妈妈再也不必费心我找不到源码了~)，预防局限是下载链接，局限是源码压缩包，局限源码是二进制文献，好欠好用一试便知，容易比照和推敲，须要的赶疾去尝尝。立即来看竞赛结果(这里仅枚举前60个)：

标出来了前面先容过的或对比紧要的本领，贯串众层深度特性的联系滤波C-COT排第一名，而CNN本领TCNN是VOT2016的冠军，作家和MDNet是统一人，纯颜色本领DAT和ASMS都正在中等程度(实在两种本领实测外示十分亲切)，其他tracker的情状请参考论文。再来看速率，SMACF没有公然代码，ASMS已经那么疾，排正在前10的本领中也有两个速率对比疾，区分是排第5的Staple，和其改良算法排第9的STAPLE+，况且STAPLE+是本年的保举及时算法。最先祝贺Luca Bertinetto大牛的SiamFC和Staple都外示十分不错，然后再为大牛默哀三分钟(VOT2016的paper原文)：

VOT2016果然发作了乌龙事变，Staple正在论文中是80FPS，何如EFO正在这里惟有11？幸亏公然代码有Staple和STAPLE+，有兴致您能够去实测下，固然我电脑不如Luca Bertinetto大牛，但Staple我也能跑60-70FPS，而更可乐的是，STAPLE+比Staple慢了大约7-8倍，果然EFO横跨4倍，终归何如回事呢？

再来看STAPLE+的代码，改良包含出格从颜色概率图中提取HOG特性，特性补充到56通道(Staple是28通道)，平移检测出格列入了大位移光流运动预计的反响，因此才会这么慢，况且决定会这么慢。

因此很大可以是VOT举办方把Staple和STAPLE+的EFO弄反了，VOT2016的及时保举算法应当是排第5的Staple，联系滤波贯串颜色本领，没有深度特性更没有CNN，跑80FPS还能排正在第五，这便是接下来首要先容的，2016年最NIUBILITY的倾向跟踪算法之一Staple (让排正在后面的一众深度研习算法汗颜，嫌疑人生)。

颜色特性，正在倾向跟踪中颜色是个十分紧要的特性，不管众少个别正在沿途，只须倾向穿分别颜色的衣服就十分昭彰。前面先容过2014年CVPR的CN是联系滤波框架下的模板颜色本领，这里慎重先容统计颜色特性本领DATLearning, Recognition, and Surveillance @ ICG，帧率15FPS：

前面剖判了联系滤波模板类特性(HOG)对急迅变形和急迅运动结果欠好，但对运动吞吐光照变动等情状对比好；而颜色统计特性(颜色直方图)对变形不敏锐，况且不属于联系滤波框架没有界线效应，急迅运动当然也是没题目的，但对光照变动和靠山犹如颜色欠好。综上，这两类本领能够互补，也便是说DSST和DAT能够互补贯串：

两个框架的算法高效无缝贯串，25FPS的DSST和15FPS的DAT，而贯串后速率果然抵达了80FPS。DSST框架把跟踪划分为两个题目，即平移检测和标准检测，DAT就加正在平移检测局限，联系滤波有一个反响图，像素级前景概率也有一个反响图，两个反响图线性加权取得最终反响图，其他局限与DSST相仿，平移滤波器、标准滤波器和颜色概率模子都以固定研习率线性加权更新。

另一种联系滤波贯串颜色概率的本领是CSR-DCF，提出了空域牢靠性和通道牢靠性，13FPS职能直逼C-COT:

CSR-DCF中的空域牢靠性取得的二值掩膜就相仿于CFLM中的掩膜矩阵P，正在这里自适当遴选更容易跟踪的倾向区域且减小界线效应；以往众通道特性都是直接乞降，而CSR-DCF中通道采用加权乞降，而通道牢靠性便是谁人自适当加权系数。采用ADMM迭代优化。

以条件到的许众CF算法，也包含VOT竞赛，都是针对short-term的跟踪题目，即短期跟踪，咱们只合切短期内(如100~500帧)跟踪是否精确。但正在现实运用场地，咱们期望精确跟踪功夫长一点，如几分钟或十几分钟，这便是永久跟踪题目。

Long-term便是期望tracker能永久精确跟踪，咱们剖判了前面先容的本领不适合这种运用场地，务必是short-term tracker + detecter配合才具完成精确的永久跟踪。

LCT正在DSST一个平移联系滤波Rc和一个标准联系滤波的根基上，又列入第三个认真检测倾向置信度的联系滤波Rt，检测模块Online Detector是TLD中所用的随机蕨分类器(random fern)，正在代码中改为SVM。第三个联系滤波相仿MOSSE不加padding，况且特性也不加cosine窗，放正在平移检测之后。

LCT列入检测机制，对遮挡和出视野等情状外面上较好，速率27fps，实行只跑了OTB-2013，跟踪精度十分高，依照其他论文，LCT正在OTB-2015和 VOT上结果略差一点可以是两个重点阈值没有自适当， 合于long-term，TLD和LCT的思念都值得参考 。

接下来先容跟踪置信度。 跟踪算法须要能响应每一次跟踪结果的牢靠水准，这一点十分紧要，否则就可以形成跟丢了还不明确的情状。有两种目标能够响应联系滤波类本领的跟踪置信度：前面睹过的最大反响值，和没睹过的反响形式，或者归纳响应这两点的目标。

LMCF(MM Wang的倾向跟踪专栏：倾向跟踪算法 - 知乎专栏)提出了众峰检测和高置信度更新：

高置信度更新，惟有正在跟踪置信度对比高的时辰才更新跟踪模子，避免倾向模子被污染，同时擢升速率。 第一个置信度目标是最大反响分数Fmax，便是最大反响值(Staple和LCT中都有提到)。第二个置信度目标是均匀峰值联系能量(average peak-to correlation energy, APCE)，响应反响图的震荡水准和检测倾向的置信程度，这个(可以)是目前最好的目标，保举：

跟踪置信度目标又有，MOSSE中的峰值旁瓣比(Peak to Sidelobe Ratio, PSR)， 由联系滤波峰值，与11*11峰值窗口以外旁瓣的均值与尺度差打算取得，保举：

跟踪置信度目标又有，正在CSR-DCF的空域牢靠性中，也用了两个相仿目标响应通道牢靠性， 第一个目标也是每个通道的最大反响峰值，便是Fmax，第二个目标是反响图中第二和第一主形式之间的比率，响应每个通道反响中主形式的外示力，但须要先做极大值检测：

结尾这局限是Martin Danelljan的专场，首要先容他的少许处事，加倍是贯串深度特性的联系滤波本领，代码都正在他主页Visual Tracking（），就不逐一贴出了。

正在CN中提出了十分紧要的众通道颜色特性Color Names，用于CSK框架赢得十分好的结果，还提出了加快算法CN2，通过类PCA的自适当降维本领，对特性通道数目降维(10 - 2)，光滑项补充逾越分别特性子空间时的价格，也便是PCA中的协方差矩战线性更新防备降维矩阵变动太大。

DSST是VOT2014的第一名，开创了平移滤波+标准滤波的体例。正在fDSST中对DSST举行加快，PCA本领将平移滤波HOG特性的通道降维(31 - 18)，QR本领将标准滤波器~1000*17的特性降维到17*17，结尾用三角插值(频域插值)将标准数目从17插值到33以获取更精准的标准定位。

SRDCF是VOT2015的第四名，为了减轻界线效应推广检测区域，优化倾向补充了空间统制项，用高斯-塞德尔本领迭代优化，并用牛顿法迭代优化平移检测的子网格精准倾向定位。

SRDCFdecon正在SRDCF的根基上，改良了样本和研习率题目。以前的联系滤波都是固定研习率线性加权更新模子，固然云云对比简陋不必存在以前样本，但正在定位不精确、遮挡、靠山扰动等情状会污染模子导致漂移。SRDCFdecon遴选存在以往样本(图像块包含正，负样本)，正在优化倾向函数中增加样本权重参数和正则项，采用瓜代凸搜罗，最先固定样本权重，高斯-塞德尔本领迭代优化模子参数，然后固定模子参数，凸二次筹备本领优化样本权重。

DeepSRDCF是VOT2015的第二名，将SRDCF中的HOG特性调换为CNN中单层卷积层的深度特性(也便是卷积汇集的激活值)，结果有了极大擢升。这里用imagenet-vgg-2048 network，VGG汇集的迁徙才具对比强，况且MatConvNet便是VGG组的，MATLAB移用十分容易。论文还测试了分别卷积层正在倾向跟踪使命中的外示：

第1层外示最好，第2和第5次之。因为卷积层数越高语义新闻越众，但纹理细节越少，从1到4层越来越差的来由之一便是特性图的诀别率越来越低，但第5层反而很高，是由于包含无缺的语义新闻，判别力对比强(历来便是用来做识另外)。

预防区别这里的深度特性和基于深度研习的本领，深度特性来自ImageNet上预陶冶的图像分类汇集，没有fine-turn这一进程，不存正在过拟合的题目。而基于深度研习的本领民众须要正在跟踪序列上end-to-end陶冶或fine-turn，假如样本数目和众样性有限就很可以过拟合。

值得一提的又有马超大神的HCF，贯串众层卷积特性擢升结果，用了VGG19的Conv5-4, Conv4-4和Conv3-4的激活值动作特性，一切特性都缩放到图像块诀别率，固然遵照论文应当是由粗到细确定倾向，但代码中对比直接，三种卷积层的反响以固定权值1, 0.5, 0.02线性加权动作最终反响。固然用了众层卷积特性，但没相合注界线效应况且线性加权的体例过于简陋，HCF正在VOT2016仅排正在28名（单层卷积深度特性的DeepSRDCF是第13名）。

C-COT是VOT2016的第一名，归纳了SRDCF的空域正则化和SRDCFdecon的自适当样本权重，还将DeepSRDCF的单层卷积的深度特性扩展为众层卷积的深度特性（VGG第1和5层），为了应对分别卷积层诀别率分别的题目，提出了连接空间域插值转换操作，正在陶冶之前通过频域隐式插值将特性图插值到连接空域，容易集成众诀别率特性图，而且维持定位的高精度。倾向函数通过共轭梯度降低本领迭代优化，比高斯-塞德尔本领要疾，自适当样本权值直接采用先验权值，没有瓜代凸优化进程，检测顶用牛顿法迭代优化倾向身分。

预防以上SRDCF, SRDCFdecon，DeepSRDCF，C-COT都无法及时，这一系列处事固然结果越来越好，但也越来越丰富，正在联系滤波越来越慢遗失速率上风的时辰，Martin Danelljan正在2017CVPR的ECO来了一脚急刹车，大神来告诉咱们什么叫又好又疾，不忘初心：

ECO是C-COT的加快版，从模子巨细、样本集巨细和更新战略三个方面加快，速率比C-COT擢升了20倍，加量还减价，EAO擢升了13.3%，最最最厉害的是， hand-crafted features的ECO-HC有60FPS。吹完了，来看看全体做法。

第一节减模子参数，界说了factorized convolution operator(领会卷积操作)，结果相仿PCA，用PCA初始化，然后仅正在第一帧优化这个降维矩阵，从此帧都直接用，简陋来说便是有监视降维，深度特性时模子参数节减了80%。

第三转化更新战略，sparser updating scheme(零落更新战略)，每隔5帧做一次优化更新模子参数，不单进步了算法速率，况且进步了对突变、遮挡等情状的坚固性。但样本集是每帧都更新的，零落更新并不会错过间隔期的样本变动新闻。

ECO的凯旋当然又有许众细节，况且有些我也看的不是很懂，总之很厉害便是了。ECO实行跑了四个库(VOT2016, UAV123, OTB-2015, and TempleColor)都是第一，况且没有过拟合的题目，仅职能来说ECO是目前最好的联系滤波算法，也有可以是最好的倾向跟踪算法。hand-crafted features版本的ECO-HC，降维局限本来HOG+CN的42维特性降到13维，其他局限相仿，实行结果固然没给ECO-HC正在VOT2016的结果，但其他三个都很高，况且论文给出速率是60FPS。

正在SiamFC的根基上，将联系滤波也动作CNN中的一层，最紧要的是cf层的前向宣传和反向宣传公式推导，两层卷积层的CFNet正在GPU上是75FPS，归纳外示并没有很惊艳，可以是难以解决CF层的界线效应吧，持阅览立场。