视频目标跟踪技术理论研究虽然已经取得了很大的发展，并且已经有部分成果进入实用化阶段，但是当前仍然面临着巨大的挑战，还有许多问题有待进一步解决，对此本节从以下几个方面进行阐述：
1、跟踪目标的多样性
根据应用需求的不同，视频跟踪的对象多种多样，从而导致跟踪算法的设计复杂多样。视频跟踪的对象可能是不同外观的行人、或人的脸部、眼部等局部区域，也可能是具有不同形状、颜色的车辆或车辆的局部区域等等。针对不同的跟踪目标，需要建立不同的描述目标外观的特征模型。例如，在跟踪车辆这类刚体目标时所采用的描述目标的特征模型，往往不能够直接用于跟踪例如衣物等变形表面这类非刚体目标；其次，通常的跟踪对象的运动具有不确定性，例如车辆的行驶过程，可能是匀速运动，也可能是加、减速运动，或是直线运动，或是转向等等，针对不同的跟踪对象要设计合适的运动预测模型；另外，在目标运动过程中，目标运动本身会造成跟踪对象外观特征发生变化，例如在头部跟踪过程中，头部的旋转会造成头部区域的颜色分布发生变化，此时会导致目标有些特征地消失，新特征出现；当然，还有跟踪目标之间可能存在遮挡现象，在单一目标跟踪中，目标本身可能会发生自遮挡情况，例如行人的部分区域，在多目标中，目标之间也可能发生相互遮挡，这些情况都增加了跟踪难度。以上描述的跟踪目标的多样性都需要对跟踪算法进行合理的设计和建模描述，从而有效应对目标的变化。
2、跟踪环境的复杂性
实际应用当中，室内外环境要素的变化对于目标跟踪算法有很大的影响。室内外的光照变化，能够影响到可见光图像数据，进而影响跟踪目标的外观特征。例如在室内黑暗的环境当中，开关灯会严重影响目标与周围环境的对比度；室外环境光照的变化、雨雪天气等的影响，也会对跟踪目标造成严重干扰。此外，实际的环境当中，不断变化的背景要素也会对跟踪目标造成影响。例如，在室外密集的人流或车流当中，周围不断运动的人或车会对指定的目标行人或车辆造成严重的影响，道路两旁的树木、建筑等同样会对跟踪目标造成干扰。还有捕获数据的摄像头设备，在室内外的环境中都可能受到干扰，例如有些场景会发生摄像头抖动问题：如在小区监控中，由于周围车辆的行使、刮风等因素都可能会导致摄像头晃动、移位等；摄像头出现视野模糊现象：在长期在恶劣情况下使用，导致摄像头老化，焦距产生漂移，或者摄像头落上大量灰尘等情况下，都可能导致视野模糊的问题。为此，如何在种种复杂干扰的条件下准确可靠地提取目标，是衡量跟踪算法性能的一项重要指标。
3、应用需求的多样性
视频目标跟踪算法是诸多视觉应用的基础，而各类应用对目标跟踪算法各类性能指标的要求不尽相同。跟踪算法的主要指标包括跟踪的准确性、稳定性、抗干扰性以及计算的实时性等。对于视频监控系统等应用，需要算法能够在各种复杂的外界环境条件下（如地铁站、火车站等公共交通系统中），准确地分析目标行为，甚至能准确报警并尽可能减少虚警误警，这类应用对跟踪算法的抗干扰性以及计算实时性要求很高；对于网络智能交互等应用，例如网络视频会议等，需要跟踪算法准确提取目标的全部区域，对算法跟踪的准确性有很高的要求，而由于网络传输可能出现的延时等情况，算法的实时性可以有所折中。各类视频应用系统通常来说涉及的方面比较多且复杂，对于目标跟踪算法需要在跟踪精度、运行速度以及其他性能指标之间进行权衡，是跟踪算法研究需要考虑的一个重要内容。许多跟踪算法复杂度高、跟踪精度受参数设置的影响严重，适应性和抗干扰性有局限性，如何将视频跟踪算法在实际环境中可靠稳定运行，需要进一步的研究。
如今，虽然已提出了多种视频目标跟踪算法，但是大多数算法一般只适用于一些特定的目标、特定的环境或者具有其它一些应用约束条件，并且存在着这样或那样的不足有待进一步优化和完善，而一些更为优秀的无环境约束下的视频目标跟踪算法也有待去进一步研究开发。
