计算机视觉中有哪些比较好的目标跟踪算法？（下）

自信良众来这里的人和我第一次到这里相似，都是念找一种较量好的方向跟踪算法，或者念对方向跟踪这个范畴有较量深刻的相识，固然这个题目是经典方向跟踪算法，但究竟上，不妨咱们并不须要那些已经光芒但已被拍正在沙岸上的tracker(方向跟踪算法)，而是那些即将成为经典的，或者就目前来说最好用、速率和职能都看的过去tracker。我较量合属目标跟踪中的联系滤波偏向，接下来我助您先容下我所看法的方向跟踪，越发是联系滤波类措施，分享极少我以为较量好的算法，乘隙说说我的成睹。

接下来到了VOT2015竞赛VOT2015 Challenge Home，这一年有60个精挑细选的序列，62个tracker，最大看点是深度进修发端进击tracking范畴，MDNet直接拿下当年的冠军，而维系深度特色的联系滤波措施DeepSRDCF是第二名，紧要办理畛域效应的SRDCF仅HOG特色排正在第四：

跟着VOT竞赛的影响力增添，举办方也是专注良苦，经典的和顶尖的齐聚一堂，百家争鸣，众达62个tracker皇城PK，华山论剑。除了前面先容的深度进修和联系滤波，再有维系object proposals(类物体区域检测)的EBT(EBT：Proposal与Tracking不得不说的奥密 - 知乎专栏)排第三，Mean-Shift类颜色算法ASMS是举荐及时算法，再有前面提到的另一个颜色算法DAT，而正在第9的谁人Struck仍旧不是正本的Struck了。除此之外，还能看到经典措施如OAB, STC, CMT, CT, NCC等都排正在倒数处所， 经典措施仍旧被远远甩正在后面。

正在先容SRDCF之前，先来剖析下联系滤波有什么短处。总体来说，联系滤波类措施对急迅变形和急迅运动情景的跟踪成果欠好。

急迅变形紧要由于CF是模板类措施。容易跟丢这个较量好分解，前面剖析了联系滤波是模板类措施，假使方向急迅变形，那基于HOG的梯度模板断定就跟不上了，假使急迅变色，那基于CN的颜色模板断定也就跟不上了。这个还和模子更新计谋与更新速率相合，固定进修率的线性加权更新，假使进修率太大，部门或短暂遮挡和任何检测不精确，模子就会进修到配景消息，积蓄到必定水平模子随着配景私奔了，一去不复返。假使进修率太小，方向仍旧变形了而模板如故谁人模板，就会变得不看法方向。

急迅运动紧要是畛域效应(Boundary Effets)，并且畛域效应爆发的纰谬样本会酿成分类器判别力不足强，下面分操练阶段和检测阶段阔别接洽。

除了谁人最原始样本，其他样本都是“合成”的，100*100的图像块，只要1/10000的样本是确凿的，如许的样本集根底不行拿来操练。假使加了余弦窗，因为图像角落像素值都是0，轮回移位经过中只消方向维持完全，就以为这个样本是合理的，只要当方向核心贴近角落时，方向超出了畛域的那些样本是纰谬的，如许虽不确凿但合理的样本数目增添到了大约2/3(一维情景padding= 1)。但咱们不行忘了尽管如许依旧有1/3(3000/10000)的样本是分歧理的，这些样本会下降分类器的判别本领。再者，加余弦窗也不是“免费的”，余弦窗将图像块的角落区域像素一切酿成0，大方过滤掉了分类器素来极度须要进修的配景消息，底本操练时判别器能看到的配景消息就极度有限，咱们还加了个余弦窗盖住了配景，如许进一步下降了分类器的判别力(是不是天主正在我前遮住了帘。。不是天主，是余弦窗)。

检测阶段，联系滤波对急迅运动的方向检测较量乏力。联系滤波操练的图像块和检测的图像块巨细必需是相似的，这即是说你操练了一个100*100的滤波器，那你也只可检测100*100的区域，假使筹算通过加更大的padding来扩展检测区域，那样除了扩展了纷乱度，并不会有什么好处。方向运动不妨是方向自己转移，或摄像机转移，遵循方向正在检测区域的处所分四种情景来看：

假使方向转移到了畛域相近但还没有出畛域，加了余弦窗从此，部门方向像素会被过滤掉，这时期就没法包管这里的反映是整体最大的，并且，这时期的检测样本和操练经过中的那些分歧理样本很像，是以很不妨会凋零。

假使方向的一部门仍旧移出了这个区域，而咱们还要加余弦窗，很不妨就过滤掉了仅存的方向像素，检测凋零。

以上即是畛域效应(Boundary Effets)，举荐两个主流的办理畛域效应的措施，个中SRDCF速率较量慢，并不适合及时园地。

SRDCF基于DCF，类SAMF众标准，采用更大的检测区域(padding = 4)，同时参预空域正则化，惩处畛域区域的滤波器系数，因为没有闭合解，采用高斯-塞德尔措施迭代优化。检测区域增添(1.5-4)，迭代优化(阻挠了闭合解)导致SRDCF只要5FP，但成果极度好是2015年的baseline。

CFLB仅单通道灰度特色，固然速率较量疾167FPS，但职能远不如KCF，不举荐；最新BACF将特色扩展为众通道HOG特色，职能超越了SRDCF，并且速率较量疾35FPS，极度举荐。

本来这两个办理计划挺像的，都是用更大的检测及更新图像块，操练功用域较量小的联系滤波器，区别点是SRDCF的滤波器系数从核心到角落滑润过渡到0，而CFLM直接用0填充滤波器角落。

VOT2015联系滤波方面再有排正在第二名，维系深度特色的DeepSRDCF，由于深度特色都极度慢，正在CPU上别说高速，及时都到不了，固然职能极度高，但这里就不举荐，先跳过。

VOT2016竞赛VOT2016 Challenge Home，已经是VOT2015那60个序列，但是这回做了从新标注愈加平允合理，本年有70位参赛选手，料念之中深度进修仍旧雄霸寰宇了，8个纯CNN措施和6个维系深度特色的CF措施多数名列三甲，再有一片的CF措施，最最最紧要的是，良心举办方居然公然了他们能拿到的38个tracker，部门tracker代码和主页，下载地点：VOT2016 Challenge Trackers，注视部门是下载链接，部门是源码压缩包，部门源码是二进制文献，好欠好用一试便知，便利比拟和讨论，须要的赶疾去尝尝。连忙来看竞赛结果(这里仅罗列前60个)：

高亮标出来了前面先容过的或较量紧要的措施，维系众层深度特色的联系滤波C-COT排第一名，而CNN措施TCNN是VOT2016的冠军，作家也是VOT2015冠军MDNet，纯颜色措施DAT和ASMS都正在中等水准(本来两种措施实测涌现极度贴近)，其他tracker的情景请参考论文。再来看速率，SMACF没有公然代码，ASMS已经那么疾，排正在前10的措施中也有两个速率较量疾，阔别是排第5的Staple，和其改良算法排第9的STAPLE+，并且STAPLE+是本年的举荐及时算法。最先祝贺Luca Bertinetto的SiamFC和Staple都涌现极度不错，然后再为大牛默哀三分钟(VOT2016的paper原文)：

最先看Staple的代码，假使您直接下载Staple并筑立params.visualization = 1，Staple默认移用Computer Vision System Toolbox来显示序列图像，而凑巧假使您没有这个东西箱，默认每帧城市用imshow(im)来显示图像，是以极度极度慢，而筑立params.visualization = 0就跑的飞疾(作家你是孙山公派来的逗逼吗)，提倡您将显示图像部门代码更换成DSST中对应部门代码就能够寻常速率运转和显示了。

再来看STAPLE+的代码，对Staple的改良囊括特别从颜色概率图中提取HOG特色，特色增添到56通道(Staple是28通道)，平移检测特别参预了大位移光流运动揣度的反映，是以才会这么慢，并且断定要慢良众。

是以很大不妨是VOT举办方把Staple和STAPLE+的EFO弄反了，VOT2016的及时举荐算法该当是排第5的Staple，联系滤波维系颜色措施，没有深度特色更没有CNN，跑80FPS还能排正在第五，这即是接下来紧要先容的，2016年最NIUBILITY的方向跟踪算法之一Staple (直接让排正在后面的一众深度进修算法疑忌人生)。

颜色特色，正在方向跟踪中颜色是个极度紧要的特色，不管众少一面正在沿途，只消方向穿不必颜色的一幅就极度明明。前面先容过2014年CVPR的CN是联系滤波框架下的模板颜色措施，这里谨慎先容统计颜色特色措施DATLearning, Recognition, and Surveillance @ ICG，帧率15FPS举荐：

DAT统计前景方向和配景区域的颜色直方图并归一化，这即是前景和配景的颜色概率模子，检测阶段，贝叶斯措施判别每个像素属于前景的概率，获得像素级颜色概率图，再加上角落好似颜色物体按捺就能获得方向的区域了。

前面剖析了联系滤波模板类特色(HOG)对急迅变形和急迅运动成果欠好，但对运动朦胧光照转化等情景较量好；而颜色统计特色(颜色直方图)对变形不敏锐，并且不属于联系滤波框架没有畛域效应，急迅运动当然也是没题目的，但对光照转化和配景好似颜色欠好。综上，这两类措施能够互补，也即是说DSST和DAT能够互补维系：

两个框架的算法高效无缝维系，25FPS的DSST和15FPS的DAT，而维系后速率居然到达了80FPS。DSST框架把跟踪划分为两个题目，即平移检测和标准检测，DAT就加正在平移检测部门，联系滤波有一个反映图，像素级前景概率也有一个反映图，两个反映图线性加权获得最终反映图，其他部门与DSST好像，平移滤波器、标准滤波器和颜色概率模子都以固定进修率线性加权更新。

另一种联系滤波维系颜色概率的措施是17CVPR的CSR-DCF，提出了空域牢靠性和通道牢靠性，没有深度特色职能直逼C-COT，速率可观13FPS：

CSR-DCF中的空域牢靠性获得的二值掩膜就好像于CFLM中的掩膜矩阵P，正在这里自适合采用更容易跟踪的方向区域且减小畛域效应；以往众通道特色都是直接乞降，而CSR-DCF中通道采用加权乞降，而通道牢靠性即是谁人自适合加权系数。采用ADMM迭代优化，能够看出CSR-DCF是DAT和CFLB的维系算法。

VOT2015联系滤波再有排第一名的C-COT(别问我第一名为什么不是冠军，我也不清晰)，和DeepSRDCF相似先跳过。

以条件到的良众CF算法，也囊括VOT竞赛，都是针对short-term的跟踪题目，即短期(shor-term)跟踪，咱们只合切短期内(如100~500帧)跟踪是否精确。但正在实质运用园地，咱们期望无误跟踪时辰长一点，如几分钟或十几分钟，这即是永久(long-term)跟踪题目。

Long-term即是期望tracker能永久无误跟踪，咱们剖析了前面先容的措施不适合这种运用园地，必需是short-term tracker + detecter配合本事完毕无误的永久跟踪。

LCT正在DSST一个平移联系滤波Rc和一个标准联系滤波的根源上，又参预第三个担负检测方向置信度的联系滤波Rt，检测模块Online Detector是TLD中所用的随机蔟分类器(random fern)，正在代码中改为SVM。第三个置信度滤波好像MOSSE不加padding，并且特色也不加cosine窗，放正在平移检测之后。

假使最大反映小于第一个阈值(叫运动阈值)，阐述平移检测不牢靠，移用检测模块从新检测。注视，从新检测的结果并不是都选取的，只要第二次检测的最大反映值比第一次检测大1.5倍时才回收，不然，已经采用平移检测的结果。

假使最大反映大于第二个阈值(叫外观阈值)，阐述平移检测足够可托，这时期才以固定进修率正在线更新第三个联系滤波器和随机蔟分类器。注视，前两个联系滤波的更新与DSST相似，固定进修率正在线每帧更新。

LCT参预检测机制，对遮挡和出视野等情景外面上较好，速率27fps，实践只跑了OTB-2013，跟踪精度极度高，遵照其他论文LCT正在OTB-2015和 VOT上成果略差一点不妨是两个焦点阈值没有自适合， 合于long-term，TLD和LCT都能够参考 。

接下来先容跟踪置信度。 跟踪算法须要能响应每一次跟踪结果的牢靠水平，这一点极度紧要，否则就不妨酿成跟丢了还不清晰的情景。天生类(generative)措施有好似性怀抱函数，判别类(discriminative)措施有呆板进修措施的分类概率。有两种目标能够响应联系滤波类措施的跟踪置信度：前面睹过的最大反映值，和没睹过的反映形式，或者归纳响应这两点的目标。

LMCF(MM Wang的方向跟踪专栏：方向跟踪算法 - 知乎专栏)提出了众峰检测和高置信度更新：

高置信度更新，只要正在跟踪置信度较量高的时期才更新跟踪模子，避免方向模子被污染，同时提拔速率。 第一个置信度目标是最大反映分数Fmax，即是最大反映值(Staple和LCT中都有提到)。 第二个置信度目标是均匀峰值联系能量(average peak-to correlation energy,APCE)，反映反映图的摇动水平和检测方向的置信水准，这个(不妨)是目前最好的目标，举荐：

跟踪置信度目标再有，MOSSE中的峰值旁瓣比(Peak to Sidelobe Ratio, PSR)， 由联系滤波峰值，与11*11峰值窗口以外旁瓣的均值与准绳差算计获得，举荐：

再有CSR-DCF的空域牢靠性，也用了两个好像目标响应通道牢靠性， 第一个目标也是每个通道的最大反映峰值，即是Fmax，第二个目标是反映图中第二和第一主形式之间的比率，响应每个通道反映中主形式的涌现力，但须要先做极大值检测：

终末这部门是Martin Danelljan的专场，紧要先容他的极少列事业，越发是维系深度特色的联系滤波措施，代码都正在他主页Visual Tracking，就不逐一贴出了。

正在CN中提出了极度紧要的众通道颜色特色Color Names，用于CSK框架获得极度好得成果，还提出了加快算法CN2，通过类PCA的自适合降维措施，对特色通道数目降维(10 - 2)，滑润项增添超出区别特色子空间时的价格，也即是PCA中的协方差矩战线性更新预防降维矩阵转化太大。

DSST是VOT2014的第一名，开创了平移滤波+标准滤波的格式。正在fDSST中对DSST实行加快，PCA措施将平移滤波HOG特色的通道降维(31 - 18)，QR措施将标准滤波器~1000*17的特色降维到17*17，终末用三角插值(频域插值)将标准数目从17插值到33以得回更无误的标准定位。

SRDCF是VOT2015的第四名，为了减轻畛域效应增添检测区域，优化方向增添了空间拘束项，用高斯-塞德尔措施迭代优化，并用牛顿法迭代优化平移检测的子网格无误方向定位。

SRDCFdecon正在SRDCF的根源上，改良了样本和进修率题目。以前的联系滤波都是固定进修率线性加权更新模子，固然如许较量纯粹不必保管以前样本，但正在定位不精确、遮挡、配景扰动等情景会污染模子导致漂移。SRDCFdecon采用保管以往样本(图像块囊括正，负样本)，正在优化方向函数中增添样本权重参数和正则项，采用瓜代凸探索，最先固定样本权重，高斯-塞德尔措施迭代优化模子参数，然后固定模子参数，凸二次经营措施优化样本权重。

DeepSRDCF是VOT2015的第二名，将SRDCF中的HOG特色更换为CNN中单层卷积层的深度特色(也即是卷积汇集的激活值)，成果有了极大提拔。这里用imagenet-vgg-2048 network，VGG汇集的迁徙本领较量强，并且MatConvNet即是VGG组的，MATLAB移用极度便利。论文还测试了区别卷积层正在方向跟踪职司中的涌现：

第1层涌现最好，第2和第5次之。因为卷积层数越高语义消息越众，但纹理细节越少，从1到4层越来越差的原故之一即是特色图的辞别率越来越低，但第5层反而很高，是由于囊括完全的语义消息，判别力较量强(素来即是用来做识其它)。

注视分辨这里的深度特色和基于深度进修的措施，深度特色来自ImageNet上预操练的图像分类汇集，没有fine-turn这一经过，不存正在过拟合的题目。而基于深度进修的措施群众须要正在跟踪序列上end-to-end操练或fine-turn，假使样本数目和众样性有限就很不妨过拟合。

值得一提的再有Chao Ma的HCF，维系众层卷积特色提拔成果，用了VGG19的Conv5-4, Conv4-4和Conv3-4的激活值行为特色，扫数特色都缩放到图像块辞别率，固然遵循论文该当是由粗到细确定方向，但代码中较量直接，三种卷积层的反映以固定权值1, 0.5, 0.02线性加权行为最终反映。固然用了众层卷积特色，但没相合注畛域效应并且线性加权的格式过于纯粹，HCF正在VOT2016仅排正在28名（单层卷积深度特色的DeepSRDCF是第13名）。

C-COT是VOT2016的第一名，归纳了SRDCF的空域正则化和SRDCFdecon的自适合样本权重，还将DeepSRDCF的单层卷积的深度特色扩展为众成卷积的深度特色（VGG第1和5层），为了应对区别卷积层辞别率区别的题目，提出了不断空间域插值转换操作，正在操练之前通过频域隐式插值将特色图插值到不断空域，便利集成众辞别率特色图，而且维持定位的高精度。方向函数通过共轭梯度低重措施迭代优化，比高斯-塞德尔措施要疾，自适合样本权值直接采用先验权值，没有瓜代凸优化经过，检测顶用牛顿法迭代优化方向处所。

注视以上SRDCF, SRDCFdecon，DeepSRDCF，C-COT都无法及时，这一系列事业固然成果越来越好，但也越来越纷乱，正在联系滤波越来越慢失落速率上风的时期，Martin Danelljan正在2017CVPR的ECO来了一脚急刹车，大神来告诉咱们什么叫又好又疾，不忘初心：

ECO是C-COT的加快版，从模子巨细、样本集巨细和更新计谋三个便利加快，速率比C-COT提拔了20倍，加量还减价，EAO提拔了13.3%，最最最厉害的是， hand-crafted features的ECO-HC有60FPS。。吹完了，来看看完全做法。

第一裁减模子参数，界说了factorized convolution operator(阐明卷积操作)，成果好像PCA，用PCA初始化，然后仅正在第一帧优化这个降维矩阵，从此帧都直接用，纯粹来说即是有监视降维，深度特色时模子参数裁减了80%。

第三厘革更新计谋，sparser updating scheme(寥落更新计谋)，每隔5帧做一次优化更新模子参数，不仅普及了算法速率，并且普及了对突变，遮挡等情景的安谧性。但样本集是每帧都更新的，寥落更新并不会错过间隔期的样本转化消息。

ECO的获胜当然再有良众细节，并且有些我也看的不是很懂，总之很厉害即是了。。ECO实践跑了四个库(VOT2016, UAV123, OTB-2015, and TempleColor)都是第一，并且没有过拟合的题目，仅职能来说ECO是目前最好的联系滤波算法，也有不妨是最好的方向跟踪算法。hand-crafted features版本的ECO-HC，降维部门正本HOG+CN的42维特色降到13维，其他部门好像，实践结果ECO-HC超越了大部门深度进修措施，并且论文给出速率是CPU上60FPS。

正在SiamFC的根源上，将联系滤波也行为CNN中的一层，最紧要的是cf层的前向传扬和反向传扬公式推导，两层卷积层的CFNet正在GPU上是75FPS，归纳涌现并没有良众惊艳，不妨是难以收拾CF层的畛域效应吧，持旁观立场。

效尤上面的外格，清理了ICCV 2017的联系论文结果比拟ECO：哎，如故一个能打的都没有！

上海交通大学博士讲师团队，BAT演习配景；手把手项目演示，全程供给代码；从算法到实战运用，涵盖CV范畴紧要学问点；深度认识CV讨论体例，轻松实战深度进修运用范畴！