行人道路检测与跟踪系统综述

 行人道路检测与跟踪
 Nils T Siebel
摘要：本论文叙述了我用摄像头来检测跟踪道路行人系统的细节信息。

简介
  在瑞丁大学的一个研究项目中我开始研究用摄像头来检测跟踪行人的自动视觉监控系统。这项研究是在欧洲框架下的V项目ADVISOR基础上进行的，我们研发出了一个集成的视觉监控的行为分析系统。在这个项目的基础上研发的行人跟踪器基于Adam Baumberg开发出的Leeds People Tracker.

目录
1简介
2主要研究成果
3跟踪算法
  3.1 4个检测模块综述
  3.2 跟踪算法详述
  3.3 跟踪的行人图像示例
4软件工程方面应用介绍
5本系统的特征
6相关出版物
7致函
8行人检测跟踪系统源代码

主要研究成果
  行人检测跟踪器是一个新型的模块系统，用来跟踪在连续镜头中出现的行人和其他物体。它的主要贡献是拥有一个强大且可扩展的结构，在现存的Leeds People Tracker基础上进行了完整的重新设计和大量重构，并添加了新的功能，达到了以下成果：
    跟踪器的高可靠性使之能通过运用多重不同类型的并行运行的跟踪器和多重跟踪推理方法来检测到噪声和阻塞（可到ECCV 2002论文或我的博士论文查询细节）。
    在任意数量的摄像头中能检测多重物体，并用XML格式输出跟踪信息。
    可扩展性及大幅提升的可维护性（可到ICSM 2002论文查询细节）。
    新文档用语维护行人跟踪器，包括一个完好定义和记录的软件维护程序（可到JSME/SMR论文查询程序实例）。
  新的跟踪系统能实现跟踪行人和车辆的可行性（可查看PETS 2001论文了解之前版本跟踪器的可行性）。
  该系统的集成系统是ADSIVOR的一个子系统，与其他子系统通过以太网接口。
  能检验出颜色过滤方法是否能并在多大程度上能帮助提高动态侦测和边缘搜索。
  跟踪器已经从SGI平台传输到个人电脑能运行的GNU/Linux环境以使之能成为实用系统。而且，系统的源代码现在已经大体符合ISO/IEC 14882-1998 C++标准和IEEE POSIX 1003.1c-1995 多线程扩展标准，因此它可便携。虽然代码保存在GNU/Linux环境下，它之前也可以在Windows XP/20002环境下进行汇编。
跟踪算法
3.1四个检测模块综述
模块1-移动探测器
一个移动探测器能探测图像中的移动像素点。它能模拟没有人在的背景图像。仅仅是把现有图像中的大像素点删去并用阈值转换法输出二进制移动图像结果。探测到的移动斑点的边界（边界框）之后被抽取出并作为该模块的输出。
主要特征：
简单的背景图像删除
图像过滤（空间中值滤波，扩张）基于可用的CPU时间
短暂地包含背景中的静态物体
用速度优化的中值滤波器来模拟背景
将静态区域融合进背景中（多层背景）

示例：
 -=
 这个例子展示了大像素区分图像和背景图像导致的不同图像，这些图像之后被阈值转换成二进制移动图像。这个例子也展示了区域和背景的低对比度（此例中是白色外套和浅黄色背景）能导致区域在移动图像中无法被探测到。
 
 
 模块2-区域跟踪器
 一个区域跟踪器能随时间跟踪这些移动的区域。这当中包括从之前框架中预测到的区域分裂和融合。
主要特征：
用预测分析区域分裂和融合
从动态的形状跟踪结果中调整边界框
找出用于背景融合的静态区域

示例：

 
模块3-头部检测器
一个头部检测器能在全部探测到的移动区域中迅速做出头部位置的假设。
主要特征：
在二进制图像中工作
在检测到的移动区域中找极点
用低通滤波做出垂直直方图
速度优化，但准确度不高

示例：
 

模块4-动态外形跟踪器
一个动态外型跟踪器运用可变形的模型来描绘出2D的行走人群的外形轮廓并跟踪。轮廓外型的初始化是在区域检测器和头部检测器的输出中完成的。
主要特征：
轮廓适合的边缘检测
来自区域检测器，头部检测器和行人的轮廓初始化
闭塞推理

示例：

 左边的图像显示了怎样从区域检测器（紫色，绿色和白色边框）和在头部检测器中从它们中预测到的头部位置（涂成红色/粉色）的输出来提供初始化假设轮廓图（外型线条，涂成白色）给动态外形跟踪器。每一个假设，还有动态外形跟踪器的从先前轮廓中的预判，之后由动态外形跟踪器运用图像测定来检测。正确的图像信息包括轮廓的局部边缘搜索是怎样在一个重复优化的环路中用来判断合适外形的。

综合各个模块
  用多个模块的主要目的是弥补单一模块的缺陷，从而达到比每个模块能提供的更好的全面跟踪效果。当然，当综合不同模型提供的信息时，明确了解不同模块的错误源是很重要的。如果两个模块产生同一类型的错误，那么综合的结果就毫无意义了。新的行人检测器被设计成能将这点很好的运用，从讲多模块的冗余性能最大化利用。
以下是整个系统的主要特征：
模块间的交融以避免无探测或错探测
两个跟踪模块间的独立预判以达到更大健壮性
多假设跟踪来弥补无跟踪和混合跟踪
所有模块都有摄像校正以提供可用数据
遵循软件工程原理来设计的软件，可伸缩和拓展(新的模块。。。)并能保持高稳定性和便携性。

3.2具体跟踪原理
  完整的行人跟踪机理如下。

3.3跟踪的行人图像示例
  下示图像是假设强化后的行人跟踪图。跟踪区域（方形框）和简像（外形轮廓）在图像中展示了。

软件工程方面信息
  行人检测器是完全重设计的，能输出一个新的设计。现在，这个软件系统具有高稳定性和便携性，一个能面向所有维修工程的软件程序被完好的定义和记录。我们在设计新的跟踪器时也注重了可拓展性和伸缩性。
  源代码大体符合ISO/IEC 14882-1998 C++标准，和IEEE POSIX 1003.1c-1995多线程标准，使之能容易携带。虽然代码被保存在GNU/Linux环境下，它也能在Windows2000环境下运行。
  瑞丁大学的行人检测软件工程小组的成员们和我检测了我们的行人跟踪软件过程和它对代码稳定性的影响（可参见JSME/SMR论文）。再另一个研究中我们也检测了重设计部件和它对代码稳定性的影响（可参见ICSM2002论文）。

我们系统的特殊特征
贴近市场，集成产品
多原理的综合保证健壮性
冗余性帮助消除低质量图像
可伸缩，可拓展的设计
高稳定性和便携性的实现
其他跟踪器（例如UMD的W4）用不同方法实现了相同的跟踪效果

相关文献
 可参考我的检测文献查看细节。

 
致函
这篇文献得到欧盟认可，ADVISOR授权（IST-1999-11287）
感谢Sergio Velastin（金士顿大学）和伦敦地铁局为我们提供视频数据。
行人检测跟踪器源代码
  行人检测跟踪器项目由德国克里斯丁大学的Nils T Siebel组织。源代码可在下载页面下载。