📚 多目标追踪论文总结
目录表格
| 简称 | 发表信息 | 核心贡献描述 | 具体信息 | 传感器 | 其他 |
|---|---|---|---|---|---|
| SORT | ICIP2016 | TBD框架的开创论文 | 查看 | camera | - |
| DeepSORT | ICIP2017 | 首个引入外貌特征的MOT | 查看 | camera | - |
| AB3DMOT | IROS2020 | 将TBD带入3D追踪邻域 | 查看 | LiDAR | 待细看 |
| CenterTrack | ECCV2020 | 转换为跟踪点 | 查看 | camera | - |
| JDE | ECCV2020 | JDE开创论文 | 查看 | camera | - |
| FairMOT | IJCV2021 | JDE改进 | 查看 | camera | - |
| EagerMOT | IRCA2021 | 首个将相机激光雷达融合的TBD框架 | 查看 | LiDAR+camera | - |
| JMODT | IROS2021 | 联合检测框架 | 查看 | LiDAR+camera | - |
| GIAOTrack | ICCVW2021 | NSA KF， EMA Bank | 查看 | camera | Visdrone，offline |
| DeepFusionMOT | RAL2022 | 提出4阶段的数据关联 | 查看 | LiDAR+camera | - |
| ys_tracker | TITS2022 | 为激光引入检测置信度，添加激光特特征 | 查看 | LiDAR | - |
| simpletrack | ECCV2022 | 全面总结TBD的问题 | 查看 | LiDAR | - |
| ByteTrack | ECCV2022 | 引入二阶段的数据关联 | 查看 | camera | - |
| MOTR | ECCV2022 | 首个E2EMOT | 查看 | camera | - |
| TrackFormer | CVPR2022 | 基于Transformer的E2EMOT | 查看 | camera | - |
| StrongSORT | TM2023 | Deepsort现代版，两个新机制 | 查看 | camera | - |
| DFRFast | ICRA2023 | C++又快又好 | 查看 | LiDAR+camera | - |
| POLY-MOT | IROS2023 | 不同类目标采用不同运动模型 | 查看 | LiDAR | - |
| MOTRv2 | CVPR2023 | E2E+TBD，改进了E2E效果 | 查看 | camera | - |
| OC-SORT | CVPR2023 | 利用观测值来固定滤波误差 | 查看 | camera | - |
| ImprAsso | CVPR2023 | 改进的关联，匹配函数，遮挡初始化 | 查看 | camera | - |
| Fusiontrack | IROS2024 | 融合方法+提点模块 | 查看 | LiDAR+camera | - |
| DiffMOT | CVPR2024 | 采用扩散模型来进行非线性运动预测 | 查看 | camera | - |
| FastPOLY | RAL2024 | 仔细考虑运动模型的构建CTRV，引入旋亲和度- | 查看 | LiDAR | - |
| FastTrack | IJCV2024 | 并行卡尔曼滤波- | 查看 | camera | - |
| STT | ICRA2024 | Transformer取代更多模块 | 查看 | LiDAR | - |
| EMMS-MOT | RA-L2024 | 多模态位置协调+扩展KF联合观测，提升3D运动建模精度 | 查看 | LiDAR+camera | NuScenes/KITTI |
| GroupTrack | IROS2024 | 引入群组运动先验辅助遮挡目标预测，仅IoU关联即达SOTA | 查看 | camera | MOT17/20 |
Simple online and realtime tracking
🌟 基本信息
- 开源地址：https://github.com/abewley/sort
- 发表信息：2016 IEEE international conference on image processing (ICIP)
🎯 核心内容
- 提出了“基于检测的追踪”框架，在准确度和实时性上都比传统方法更好，是后面工作的基础。
💡 学习收获
- 使用的是kalman滤波进行状态估计，匈牙利算法进行匹配，距离函数使用的是IOU。
Simple online and realtime tracking with a deep association metric
🌟 基本信息
- 开源地址：https://github.com/HowieMa/DeepSORT_YOLOv5_Pytorch
- 发表信息：2017 IEEE international conference on image processing (ICIP)
🎯 核心内容
- 在SORT的基础上，增加了外貌特征网络，准确性得到了大大的提高。
3d multi-object tracking: A baseline and new evaluation metrics
🌟 基本信息
- 开源地址：https://github.com/xinshuoweng/AB3DMOT
- 发表信息：2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)
🎯 核心内容
- 将TBD框架应用到LiDAR的MOT任务上。
Tracking Objects as Points
🌟 基本信息
- 开源地址：https://github.com/xingyizhou/CenterTrack
- 发表信息：2020 European conference on computer vision (ECCV)
🎯 核心内容
- 核心思想：把跟踪简化为“跟踪中心点”的问题。把每个目标表示为一个 2D 中心点（object center），并在两帧间预测中心位移（offset）来进行关联。
- 输入：当前帧 + 前一帧 + 上一帧跟踪中心点热力图（heatmap）
- 基于 CenterNet 的检测头：中心点热力图 + 尺寸回归 + 偏移回归
- Offset-based 简单贪心关联（Tracking-by-Offset）
Towards Real-Time Multi-Object Tracking
🌟 基本信息
- 开源地址：https://github.com/Zhongdao/Towards-Realtime-MOT
- 发表信息：2020 European conference on computer vision (ECCV)
🎯 核心内容
- 提出了首个联合检测和嵌入（REID）的框架，将检测和特征提取集成到一个网络中，提高了多目标追踪的实时性。
- 单模型多任务学习：检测 + Embedding 同时输出
- 多任务损失 + 自动损失权重学习
- Embedding 学习采用 Cross-Entropy 而非 Triplet Loss
FairMOT: On the Fairness of Detection and Re-Identification in Multiple Object Tracking
🌟 基本信息
- 开源地址：https://github.com/ifzhang/FairMOT
- 发表信息：2021 International journal of computer vision (IJCV)
🎯 核心内容
作者指出，虽然单模型（one-shot）联合检测 + re-ID 的 MOT 框架在速度上有优势，但现有方法往往存在 “不公平性（unfairness）” —— 即检测任务被优先优化，而 re-ID 任务处在明显劣势，导致整体跟踪性能显著下降。
EagerMOT: 3D Multi-Object Tracking via Sensor Fusion
🌟 基本信息
- 开源地址：https://github.com/aleksandrkim61/EagerMOT
- 发表信息：2021 IEEE International Conference on Robotics and Automation (ICRA)
🎯 核心内容
- 将TBD框架应用到LiDAR和camera融合的MOT任务上。
- 其融合框架的想法是：camera用来平滑远处的目标，而LiDAR用来精确跟踪近处的目标。
🤔 提出问题
- 遮挡情况导致的FP、FN
- 融合方法使用复杂的特征提取，计算开销大。
- 主要还是因为引入了额外的特征提取器。不过可以通过直接使用检测器的backbone来代替(ys_tracker)。
- 没有充分利用两种传感器的信息，主要是视觉。造成的原因是激光范围太小。
💡 学习收获
- 可以说是第一个完整的多传感器融合的MOT框架。结构经典很清晰，后续工作可以在此基础上改进。
Joint Multi-Object Detection and Tracking with Camera-LiDAR Fusion for Autonomous Driving
🌟 基本信息
- 开源地址：https://github.com/Kemo-Huang/JMODT
- 发表信息：2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)
GIAOTracker: A comprehensive framework for MCMOT with global information and optimizing strategies in VisDrone 2021
🌟 基本信息
- 开源地址：https://github.com/dyhBUPT/GIAOTracker
- 发表信息：2021 IEEE/CVF International Conference on Computer Vision Workshops (ICCVW)
🎯 核心内容
- 整体是一个offline的追踪器，不过它有几个先进的模块值得学习。也是后面strongsort的基础。
- NSA KALMAN：说白了，就是自适应噪声的卡尔曼滤波器
- EMA BANK：EMA + BANK机制。EMA会考虑目标变化，而BANK则保存历史的外貌特征
- ORB+RANSAC： 由于是无人机数据集，作者对输入图像做了一些对齐变换。
DeepFusionMOT: A 3D Multi-Object Tracking Framework Based on Camera-LiDAR Fusion With Deep Association
🌟 基本信息
- 开源地址：https://github.com/wangxiyang2022/DeepFusionMOT
- 发表信息：IEEE Robotics and Automation Letters 2022
🎯 核心内容
- 提出了一个四阶段的数据关联方法。
- 在轨迹管理阶段加了一点小微调，增加了一个状态。
💡 学习收获
- 代码很清晰，结构好。可以以此为基础继续代码上的改进。
- 创新点很简单，可以说是将eagermot的工作清晰化了。
3D Multi-Object Tracking in Point Clouds Based on Prediction Confidence-Guided Data Association
🌟 基本信息
- 开源地址：https://github.com/hailanyi/3D-Multi-Object-Tracker
- 发表信息：IEEE Transactions on Intelligent Transportation Systems 2022
🎯 核心内容
- 提出了一个置信度网络来进行数据关联
- 置信度是一种仿卡尔曼滤波的结构，分更新和预测两个部分。内嵌到代价矩阵中，用贪婪算法来匹配。
- 采用了CA模型进行状态估计，在MCTrack中也提到CA的上限更高，不过具体效果还是看数据集。
- 直接使用backbone来进行特征提取，没有使用额外的特征提取器。
💡 学习收获
- 关于置信度设计，理论上感觉不太合理，但是效果得到实验证实，并且思路是对的。主要是体现这个置信度的方式感觉不合理。如果能像它论文途图那样更好。我认为可以考虑从噪声入手。
😃 其他
- ys_tracker : 作者是原神哥
Simpletrack: Understanding and rethinking 3d multi-object tracking
🌟 基本信息
- 开源地址：https://github.com/tusen-ai/SimpleTrack
- 发表信息：European conference on computer vision 2022
🎯 核心内容
- 作者充分分析了TBD框架的好坏。从检测、关联、运动模型和生命周期管理4个部分进行了深入的分析。
- 检测结果预处理：一般来说原生检测结果会非常多（提高AP），但是追踪器用往往只要很少一部分。旧方法使用阈值过滤来预处理。但是阈值设置鲁棒性差，可能会滤掉一些真实目标。作者的想法是采用严格阈值的NMS来替代。既去除检测器的重复，又避免误删。
- 数据关联方法：文章对比了匈牙利算法和贪婪算法。发现他们与距离函数的关系非常密切。IoU下两种方法差不多，距离函数下贪婪算法表现更好。
- 针对遮挡/稀疏点云问题。本文提出两个阶段的数据关联方法。类似ByteTrack，都是使用检测置信度来匹配。不同的是二阶段中，检测结果只用来关联，不参与状态更新，而是采用运动模型来预测新状态。
💡 学习收获
- IoU下两种方法差不多，距离函数下贪婪算法表现更好。这一点可以注意，如果之后要设计多种匹配的时候。
- 出现IDS的主要原因其实是由于轨迹的提前中断。论文中提到90%以上都是因为这个。而造成中断的无非就是遮挡和点云稀疏。
- 本文提到，Nuscenes数据集基准可能不太合理。静态车多，传感器频率低（2Hz），评价标准注重轨迹质量（还使用插值）。
ByteTrack: Multi-Object Tracking by Associating Every Detection Box
🌟 基本信息
- 开源地址：https://github.com/ifzhang/ByteTrack
- 发表信息：European conference on computer vision 2022
🎯 核心内容
- 提出了一个二阶段的数据关联方法，根据检测结果的执行度进行两次匹配。结果证明提升效果非常明显
MOTR: End-to-End Multiple-Object Tracking with Transformer
🌟 基本信息
- 开源地址：https://github.com/megvii-research/MOTR
- 发表信息：European conference on computer vision 2022
🎯 核心内容
- 提出了首个端到端的多目标追踪框架，正式将端到端方法引入MOT领域。
- 把 DETR 的 object query 扩展为具有时间维度的 track query，使同一查询在不同帧持续更新表示同一物体。
TrackFormer: Multi-Object Tracking with Transformers
🌟 基本信息
- 开源地址：https://github.com/timmeinhardt/trackformer
- 发表信息：CVPR 2022
🎯 核心内容
- 提出了基于Transformer的端到端多目标追踪框架TrackFormer。新的框架，作者称之为“tracking-by-attention”。
- 直接用 Transformer decoder 的 attention 完成检测 + 关联的联合建模
StrongSORT: Make DeepSORT Great Again
🌟 基本信息
- 开源地址：https://github.com/dyhBUPT/StrongSORT
- 发表信息：IEEE Transactions on Multimedia 2023
🎯 核心内容
- 如其名，StrongSORT就是Deepsort的加强版，在Deepsort的基础上，使用了最新的追踪机制，然后添加了两个新模块。
- AFLink： 解决同一目标被错误地分成多个 tracklets
- GSI： 解决检测器漏检导致轨迹断裂。通过使用高斯插值的方式进行平滑轨迹
DFR-FastMOT: Detection Failure Resistant Tracker for Fast Multi-Object Tracking Based on Sensor Fusion
🌟 基本信息
- 开源地址：https://github.com/MohamedNagyMostafa/DFRFastMOT
- 发表信息：2023 IEEE International Conference on Robotics and Automation (ICRA)
🎯 核心内容
- 首先是距离函数的使用，非常简单。相机用IOU，雷达用3D中心距离。然后设置两个阈值，接着设置参数占比来整合两种传感器的距离函数矩阵。
- 数据关联方法是介于匈牙利算法和贪婪算法之间。文中描述是：直接选择距离函数最好的进行匹配，直到阈值。因此，该算一个贪婪算法吧。
- 在3D状态也做2D的估计。
💡 学习收获
- 采用的还是经典框架
- 这个方法很奇怪，基本没有什么大的变动，但是它效果却很好。
- 有一些简单的多传感器融合的地方，例如遗失帧取两种传感器的最小值。
Poly-MOT: A Polyhedral Framework For 3D Multi-Object Tracking
🌟 基本信息
- 开源地址：https://github.com/lixiaoyu2000/Poly-MOT
- 发表信息：2023 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)
🎯 核心内容
- 提出了两个运动模型：CTRA用于车辆等，Bicycle用于自行车等。
💡 学习收获
- 他们实验室走的是传统模型路线，设计了非常精细的模型，并且配套复杂的处理机制，从而提高最终效果。
MOTRv2: Bootstrapping End-to-End Multi-Object Tracking by Pretrained Object Detectors
🌟 基本信息
- 开源地址：https://github.com/megvii-research/MOTRv2
- 发表信息：2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)
🎯 核心内容
- MOTR是第一个端到端的多目标追踪框架，但是效果并不好。MOTRv2通过分析，分为性能不好的主要原因是检测性能不好。于是，他们采取了一个类似与TBD的思路，提出了用一个预训练 YOLOX proposal 作为 anchor，引导 MOTR
Observation-Centric SORT: Rethinking SORT for Robust Multi-Object Tracking
🌟 基本信息
- 开源地址：https://github.com/noahcao/OC_SORT
- 发表信息：2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)
🎯 核心内容
- 提出SORT的三个问题：1. 依赖于高频检测以拟合线性运动。 2. 当目标丢失时，误差积累迅速（特别是速度）。 3. 现代检测器的状态方差比SORT估计出来的结果更小。
- 对于问题2，作者提出了一个新模块，’re-update’。当目标丢失再次被检测到时，激活这个模块。ORU
- 还设计了一个考虑方向的关联矩阵，考虑了目标运动方向。OCM
- 此外，还提出了一种启发式的改进模块，讲轨迹最后一次的观测值和检测值进行关联尝试。OCR
💡 学习收获
- 文章推导出一个非常反直觉的结论：当$\delta_t$较小的时候，$\delta_t$越大两个时刻角度估计的误差越小。
An Improved Association Pipeline for Multi-Person Tracking
🌟 基本信息
- 开源地址：未开源
- 发表信息：2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)
🎯 核心内容
- 组合匹配（Combined Matching, CM）
- 这部分内容是针对BTYETRACK的改进。它说BYTE的方案有两个问题，未激活轨迹是无法和低置信度检测匹配的；总是高置信度检测先匹配，即使低置信度才是正确的。
- 为此，作者提出了一个组合匹配手段。首先还是先做一个二阶段的匹配，但是这步主要是为了调试出阈值。然后根据这个阈值，计算出一个缩放因子（低置信度和高置信度的检测和轨迹之间的距离函数会乘这个因子）。直接concat得到一个单一的距离矩阵，然后做匈牙利匹配。
- 组合代价函数(Combined Distance, CD): 涉及了一个带权重的距离矩阵。包括马氏距离，外貌距离，IOU。
- 遮挡感知初始化(Occlusion Aware Initialization, OAI): 该模块是为了减少误检的情况。作者认为误检的主要原因是因为目标太拥挤，导致检测器分不清边界，从而多生成了检测结果。解决办法很简单，对于一个新的检测结果，如果他和已有目标IOU非常高，那么就排除。
💡 学习收获
这就是一个纯工程性的思路，所以也是发表在WORKSHOP上的。它还集成了相机运动补偿、NSA 卡尔曼滤波、YOLOX 检测器和重识别模型等等方法。九龙之力好吧。
FusionTrack: An Online 3D Multi-object Tracking Framework Based on Camera-LiDAR Fusion
🌟 基本信息
- 开源地址：https://github.com/zengwz/FusionTrack
- 发表信息：2024 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)
🎯 核心内容
- 新的融合框架：利用了相机的外貌特征。数据关联也引入融合。
- 检测滤波模块(DFM)：针对误检的情况，过去的解决方法是多检测几帧才确认追踪，这引入了延迟问题。作者将未匹配的检测投影到2D进行检查，确认是否是误匹配。
- 外观相似度匹配模块(ASMM)：二阶段数据关联引入外貌特征进行匹配。之前是用GIoU进行匹配。这个部分作者还新建了一个特征提取网络
- 轨迹恢复模块(TRM)：针对漏检的目标，作者提出了这个模块。还是使用相机的检测结果来帮助3D检测。当轨迹的预测结果投影和相机重合度高，就认为这个预测是好的，保留并且作为3D的检测结果。
♿ 工作流程
💡 学习收获
- 注意到，本文使用了外貌特征。因此，作者也使用了EMA模块来更新外貌特征。
- 本文使用的是KF-CA模型。
- 本文非常适合作为对比目标。它是IROS24年结果，并且方法也很常规，指标不算特别高。
DiffMOT: A Real-time Diffusion-based Multiple Object Tracker with Non-linear Prediction
🌟 基本信息
- 开源地址：https://github.com/Kroery/DiffMOT
- 发表信息：2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)
🎯 核心内容
多目标跟踪（MOT）在跟踪-by-检测框架中高度依赖运动预测器。主流方法大多采用近似线性的模型来做预测，但在更加复杂的场景中不适用。 文章将扩散模型引入到目标的运动预测中，提出了一个D2MP网络
STT: Stateful Tracking with Transformers for Autonomous Driving
🌟 基本信息
- 未开源
- 发表信息：2024 IEEE International Conference on Robotics and Automation (ICRA)
🎯 核心内容
- 作者设计了Encoder和Decoder将目标状态在两个空间进行转换。然后基于Transformer结构设计了TF模块，将历史的检测信息提取出query。TDI模块交叉注意力模块得到关联矩阵。随后还是进行的匈牙利算法等常规方法，但是论文中没讲。
💡 学习收获
- 虽然文章整体没怎么写清楚，但是思路确实前沿，跟我的构想越细究越像。
- 由于匹配和生命周期管理都是不可微的，因此这个部分是无法参与到神经网络的反向传播的。因此两者需要分开进行训练/调参。
- 损失函数，我觉得就先采用该文章的交叉熵损失。
Exploiting Multi-Modal Synergies for Enhancing 3D Multi-Object Tracking
- 发表信息: IEEE Robotics and Automation Letters, Vol.9 No.10, October 2024
- 未开源
核心贡献描述
指出现有多模态方法（EagerMOT、DeepFusionMOT）只是简单拼接两模态检测结果，未利用2D与3D之间的空间协同和运动协同关系，提出三个模块：
MMLC（多模态位置协调器）：对同时被两个模态检测到的目标，求解最小化2D投影误差与3D中心误差加权和的优化问题，用牛顿法迭代修正3D中心坐标，权重由检测置信度经sigmoid自适应计算。
MMME（多模态运动估计器）：将扩展卡尔曼滤波的观测向量同时纳入3D坐标和2D像素坐标 $(u,v)$，通过相机投影关系联系3D状态，用2D观测补偿3D空间线性假设的误差。
MSDA（多阶段数据关联）：三轮匈牙利匹配，代价矩阵融合3D GIoU和2D GIoU，分别处理双模态检测、纯3D检测、纯2D检测三种情况。
NuScenes测试集：AMOTA 76.4%，IDs降至271（-21 vs PolyMOT）。整体无需额外训练（learning-free）。
学习收获
- 核心思路：让2D观测帮助修正3D状态，在EKF框架内扩展观测向量，是比简单拼接更深层的融合。MMME对ID下降的贡献最大，说明运动建模质量比关联规则更根本。
- MMLC只修正3D中心，不修正朝向和尺寸，修正不完整；依赖精确内外参，工程部署受限。
- 假设z轴高度恒定、xy均匀加速，对起伏路面失效，NuScenes复杂场景提升幅度相对保守。
GroupTrack: Multi-Object Tracking by Using Group Motion Patterns
- 发表信息: IROS 2024, Abu Dhabi
- 未开源
核心贡献描述
密集人群中相邻行人运动模式高度相似，提出利用这一先验——用高质量邻居轨迹的运动推断遮挡目标的位置，替代直接用低质量检测更新KF。
邻居选择：联合标准化欧氏距离（SEC，以目标宽度归一化隐含深度）和速度余弦距离（VCD，过滤方向差异大的轨迹），同时满足时序相关性阈值的轨迹成为邻居。
群组运动模式推断（GMP）：对低质量轨迹，用邻居当前速度估计其位置：
$$L^j_{low} = \tilde{T}^c_{low} + (\tilde{T}^v_{low} - \tilde{T}^v_j) + T^v_j$$加权平均所有邻居的推断结果（权重为运动相似度），得到"推断框"参与关联和KF更新。
数据关联仅用IoU，两轮匈牙利匹配。MOT17：HOTA 65.2%，IDs 1161（vs ByteTrack 2196），IDs减少约一半。
学习收获
- 群体运动先验是被长期低估的方向。核心观察朴素但有效：行人聚集时运动高度相关，遮挡目标的位置可由邻居"代为估计"，不需要外观模型也能大幅减少ID错误。
- 仅用IoU关联仍达SOTA，说明运动建模质量的提升才是根本，而非关联函数的复杂化。
- 速度突变（起步、急停）时邻居估计会引入额外误差；全场大规模遮挡时可用邻居减少，性能退化风险大。未来可结合速度置信度自适应关闭GMP。