The Wayback Machine - https://web.archive.org/web/20221025114448/https://baike.sogou.com/kexue/d10577.htm

视频跟踪

编辑

视频跟踪是使用摄像机随时间定位移动物体(或多个物体)的过程。它有多种用途，包括有：人机交互、安保和监控、视频通信和压缩、增强现实、交通控制、医学成像[1]和视频编辑[2][3]。由于视频中包含大量数据，视频跟踪可能会是一个相当耗时的过程。更复杂的是可能需要使用目标识别技术以实现跟踪，这本身就是一个具有挑战性的问题。

1 目标编辑

机器人手通过视觉反馈跟踪接球的视觉伺服示例，该视觉反馈由高速图像处理系统处理。[1][2]

视频跟踪的目标是将连续视频帧中的目标物体相关联。当物体相对于帧速率快速移动时，这种关联可能会特别困难。另一种情况是当被跟踪物体的方向随时间改变时，问题的复杂性会增加。对于这种情况，视频跟踪系统通常采用运动模型，以描述目标图像随着物体的不同可能运动会如何变化。

简单运动模型有:

  • ž当跟踪平面物体时，运动模型是物体图像(例如初始帧)的2D变换(仿射变换或单应性变换)。
  • 当目标是刚性3D对象时，运动模型根据其3D位置和方向定义其方位。
  • 对于视频压缩，关键帧被分成宏块。运动模型是关键帧的一种分解，其中每个宏块由运动参数给出的运动矢量转换得到。
  • 可变形物体的图像可以用网格覆盖，物体的运动由网格节点的位置来定义。

2 算法编辑

为了实现视频跟踪，算法分析连续的视频帧，并输出不同帧之间物体的移动。目前存在各种各样的算法，各有优缺点。选择使用哪种算法时，考虑预期用途很重要。视觉跟踪系统有两个主要组成部分:目标表示和定位以及过滤和数据关联。

目标表示和定位主要是一个自下而上的过程。其提供了多种识别运动物体的工具。能否成功定位和跟踪目标取决于算法。例如，使用斑点跟踪对于识别人类运动是适用的，因为人的轮廓是动态变化的。[6] 通常来说这些算法的计算复杂度很低。以下是一些常见的目标表示和定位算法:

  • 基于内核跟踪(均值漂移跟踪[7]):ž  基于相似性度量(巴特查亚系数)最大化的迭代定位过程。
  • 轮廓跟踪:物体边界检测(如活动轮廓或凝聚算法)。轮廓跟踪方法通过迭代将初始轮廓从前一帧转化到到当前帧中的新位置。这种方法通过使用梯度下降以最小化轮廓能量来直接推理轮廓。

过滤和数据关联主要是一个自上而下的过程，其整合场景或物体的先验信息、处理物体运动以及评估不同的假设。这些方法适用于跟踪具有复杂物体交互的复杂物体，例如跟踪于障碍物后面移动的物体。[8] 此外，如果视频跟踪器(也称为TV跟踪器或目标跟踪器)非固联安装，而是安装在移动的平台上，人们通常会使用惯性测量系统来预稳定视频跟踪器，以减少相机系统所需的动态和带宽，这种情况下算法复杂性会增加。[9]过滤和数据关联算法的计算复杂度通常要高得多。以下是一些常见的过滤算法:

  • 卡尔曼滤波:高斯噪声下线性函数的最优递归贝叶斯滤波。其使用一系列随时间观察到的测量值，包含噪声(随机变化)和其他不准确性，并输出未知变量的估计值，这些估计值往往比仅基于单个测量值的估计值更精确。[10]
  • 粒子滤波器:用于对非线性和非高斯过程的基本状态空间分布进行采样。[11][12][13]

参考文献

  • [1]

    ^Peter Mountney, Danail Stoyanov & Guang-Zhong Yang (2010). "Three-Dimensional Tissue Deformation Recovery and Tracking: Introducing techniques based on laparoscopic or endoscopic images." IEEE Signal Processing Magazine. 2010 July. Volume: 27". IEEE Signal Processing Magazine. 27 (4): 14–24. doi:10.1109/MSP.2010.936728..

  • [2]

    ^Lyudmila Mihaylova, Paul Brasnett, Nishan Canagarajan and David Bull (2007). Object Tracking by Particle Filtering Techniques in Video Sequences; In: Advances and Challenges in Multisensor Data and Information. NATO Security Through Science Series, 8. Netherlands: IOS Press. pp. 260–268. CiteSeerX 10.1.1.60.8510. ISBN 978-1-58603-727-7.CS1 maint: Multiple names: authors list (link).

  • [3]

    ^Kato, Hirokazu & Mark Billinghurst (1999). "Marker Tracking and HMD Calibration for a Video-based Augmented Reality Conferencing System" (PDF). IWAR '99 Proceedings of the 2nd IEEE and ACM International Workshop on Augmented Reality. IEEE Computer Society, Washington, DC, USA..

  • [4]

    ^"High-speed Catching System (exhibited in National Museum of Emerging Science and Innovation since 2005)". Ishikawa Watanabe Laboratory, University of Tokyo. Retrieved 12 February 2015..

  • [5]

    ^"Basic Concept and Technical Terms". Ishikawa Watanabe Laboratory, University of Tokyo. Retrieved 12 February 2015..

  • [6]

    ^S. Kang; J. Paik; A. Koschan; B. Abidi & M. A. Abidi (2003). "Real-time video tracking using PTZ cameras". Proc. SPIE. 5132: 103–111. CiteSeerX 10.1.1.101.4242. doi:10.1117/12.514945..

  • [7]

    ^Comaniciu, D.; Ramesh, V.; Meer, P., "Real-time tracking of non-rigid objects using mean shift," Computer Vision and Pattern Recognition, 2000. Proceedings. IEEE Conference on , vol.2, no., pp.142,149 vol.2, 2000.

  • [8]

    ^Black, James, Tim Ellis, and Paul Rosin (2003). "A Novel Method for Video Tracking Performance Evaluation". Joint IEEE Int. Workshop on Visual Surveillance and Performance Evaluation of Tracking and Surveillance: 125–132. CiteSeerX 10.1.1.10.3365.CS1 maint: Multiple names: authors list (link).

  • [9]

    ^Gyro Stabilized Target Tracker for Off-shore Installation.

  • [10]

    ^M. Arulampalam; S. Maskell; N. Gordon & T. Clapp (2002). "A Tutorial on Particle Filters for Online Nonlinear/Non-Gaussian Bayesian Tracking". IEEE Transactions on Signal Processing. 50 (2): 174. CiteSeerX 10.1.1.117.1144. doi:10.1109/78.978374..

  • [11]

    ^Emilio Maggio; Andrea Cavallaro (2010). Video Tracking: Theory and Practice. 1. Video Tracking provides a comprehensive treatment of the fundamental aspects of algorithm and application development for the task of estimating, over time..

  • [12]

    ^Karthik Chandrasekaran (2010). Parametric & Non-parametric Background Subtraction Model with Object Tracking for VENUS. 1. Background subtraction is the process by which we segment moving regions in image sequences..

  • [13]

    ^J. Martinez-del-Rincon, D. Makris, C. Orrite-Urunuela and J.-C. Nebel (2010). "Tracking Human Position and Lower Body Parts Using Kalman and Particle Filters Constrained by Human Biomechanics". IEEE Transactions on Systems Man and Cybernetics – Part B', 40(4)..

阅读 569
版本记录

  • 暂无