【目标跟踪算法】Strong SORT多目标跟踪模型论文解析+代码详解

1. Strong SORT算法的背景和概述

Strong SORT算法基于经典的Deep SORT模型，并从目标检测模型、表征特征模型和匹配算法等各个方面对其进行了升级优化。

1.1 表观特征分支的优化算法

对于Strong SORT算法的表观特征分支部分，主要是进行了2方面的优化，一是优化了特征提取器的能力，二是利用了EMA（Exponential moving average）特征更新策略从而取代Deep SORT算法中的特征库。

1. Strong SORT使用了更强大的表观特征提取器BoT来代替原来简单的CNN网络。以ResNeSt50作为主干并在DukeMTMC-reID数据集上进行预训练，该表观特征提取器可以提取更多的判别特征。
2. 此外，将特征库替换为EMA（Exponential moving average）特征更新策略。对于轨迹i在第t帧的表观特征如下：

   

   EMA特征更新策略不仅仅增强了匹配的质量，同时也节省了匹配的时间，不再需要和特征库（通常是1条轨迹保留近100个特征向量组成）相匹配。

1.2 运动模型分支的优化算法

对于Strong SORT算法的运动模型分支部分，主要是进行了2方面的优化，一是采用ECC算法（Enhanced Correlation Coefficient）进行了摄像机运动补偿，二是使用了NSA卡尔曼算法取代了传统的卡尔曼算法。

1. ECC算法（Enhanced Correlation Coefficient）

   ECC算法全名是增强相关系数算法，这个算法是适用于图像配准任务的。也就是对于两张内容差异小，但是存在光照、尺度、颜色、平移等变换影响的图像，将二者对齐。

   

2. NSA卡尔曼滤波算法

   在Deep SORT中，基于线性运动假设的卡尔曼滤波器用于对物体运动进行建模。它由状态估计步骤和状态更新步骤组成。卡尔曼滤波器先产生当前状态变量的估计，以及它们的不确定性。然后用估计状态和测量值的加权平均值更新这些估计值。

   

2. StrongSORT代码详解

• 此文章是对mikel-brostrom代码仓的StrongSORT代码进行详解；

• 具体代码分析请参考StrongSORT（deepsort强化版）浅实战＋代码解析这篇博客，介绍的很清晰。

• 注意调用过程StrongSORT类–> Tracker类–>Track类–>KalmanFilter类