本文是博士论文，主要研究视频监控系统中一些关键技术。

第一章 绪 论

人类认识和改造自然界的能力正在逐渐增强，正如机械力学和高新材料等学科的研究和应用极大地扩展了人类肌肉和骨骼的功能，视频监控系统作为人类视觉功能的延伸，有着十分重要的价值。随着近年来电子信息技术特别是大规模集成电路技术、数字多媒体技术、计算机和网络通信技术等的快速发展，视频监控领域的研究取得了许多重大突破并得到了广泛的应用，当然也存在许多需要进一步研究和解决的问题，其中，视频信息的智能分析与处理、视频信息的压缩与传输是最活跃的两个方面，已经成为当前国内外学术界和工业界的研究热点。本章首先对视频监控作简要的介绍与回顾，然后分析了视频监控系统的现状和发展趋势，接着分别阐述了本文涉及的几个问题及其研究价值，并给出了为解决这些问题而提出的一些新的方法和主要的研究成果，最后是全文的章节安排。

1.1 视频监控概述

人类通过眼、耳、鼻、舌、身等器官感知客观世界，统计资料和相关研究表明，通过各感官获取的各种信息中，视觉信息占 80％以上，是人类最主要的信息来源[2,17-18]。利用人类视觉系统获取的视觉信息具有准确、直观、具体、生动、高效、广泛存在、容量大等优点[98,160]。随着数字信号处理和计算机技术的发展，人类开始使用计算机来处理所获取的视觉信息，随之而诞生的数字图像处理技术成为二十世纪最重要的发明之一，处理的图像可分为“静态图像”（静态的单副图像）和“动态图像”（动态的图像序列）两类[2]。“动态图像”即视频，它由一系列连续且内容相关的静态图像组成，其中的每一幅图像被称为一帧（Frame），是视频中最小和最基本的组成单元，由于人类视觉暂留原理，每秒 24 帧以上的图像就可以形成连续活动的影像效果。因此，视频分析与处理技术包括对某一帧静态图像的处理和对相关多帧图像的处理，许多对静态图像的处理方法也可以很方便的扩展应用到视频处理中[2]。视频技术在各行各业获得了广泛的应用，视频监控是其中一个最重要的方面。传统上，视频监控系统就是提供实时监视的手段，并对被监视的画面进行录像存储和事后回放[3]，近二十年来，伴随着电子信息技术的发展，视频监控也得到了飞速的发展，其历程大致可分为三个阶段[3,8-15]：上个世纪九十年代初以前，视频监控主要采用以模拟设备为主的闭路电视监控系统，视/音频信号的采集、传输和存储均为模拟形式，因此被称为第一代模拟视频监控系统（Analog Video Surveillance，AVS）；上个世纪九十年代中期以后，随着计算机能力的提高和视频编码技术的发展，视频监控的主要变化在于利用计算机高速的数据处理能力处理视频信息，传统的模拟视频监控系统逐渐淡出视野。视频与图像的数字化有利于视频信息的存储、处理、传输和实时性需求，并彻底打破了上一代经典闭路电视系统以摄像机成像为中心的结构。此外，使用高分辨率的显示器实现了图像的多画面和多屏幕显示，极大的提高了视频监控的水平。这种以视频流的数字化处理为核心的视频监控系统被称为第二代数字视频监控系统（Digital Video Surveillance，DVS）；进入二十一世纪以后，随着计算机网络技术的迅速发展和各种智能处理技术的兴起，视频监控进入了全新的时代，开始以互联网传输为基础，以数字视频的压缩、传输、存储和播放为基本构成要素，以视频信息的智能化分析理解为特色，引发了视频监控的产业革命，这种新兴的视频监控系统被称为第三代远程智能视频监控系统（Remote Intelligent Video Surveillance，RIVS）。

第二章 视频监控中人脸特征描述方法研究

随着二十世纪八十年代人工智能的复兴和计算机能力的提高，自动人脸识别技术在过去的三十年里取得了很大的进步，由于其较好的准确性、非侵扰性、成本低廉等特点，非常适合于在视频监控中进行身份认证。现实中进行人脸识别，其实是使用一台特殊的、能实时又准确进行身份认证的摄像机，核心步骤仍然是提取人脸图像特征，本质上是对人脸进行数学建模，即在低维特征空间内对高维人脸数据的表征进行描述和模拟的过程，这个特征提取和描述的过程在人脸识别中扮演着极其重要的角色，能极大的影响识别的正确率。本章以人脸的特征提取为主要研究内容，首先概述人脸识别和光照的影响，指出视频监控系统由于需要全天候工作使得采集人脸图像时无法避免光照的影响，然后针对光照变化下的鲁棒性人脸识别问题，提出了两种新的人脸特征描述方法。

2.1 引言

2.1.1 人脸识别概述

人脸识别是一个古老而又年轻的课题。人类生来就懂得利用人脸进行身份判断。近代，弗朗西斯•高尔顿（Francis Galton）分别于 1888 年和 1910 年在《自然》上发表了两篇关于利用人脸进行身份认证的文章。现代的人脸识别研究可追溯到二十世纪六十年代，早期的研究主要有人脸几何特征提取和模板匹配[31]两大方向。二十世纪八十年代以后，人脸识别技术取得了很大的发展，成为一种利用计算机来分析人脸图像特征进而实现个人身份认证的自动化技术。进入二十世纪九十年代，人脸识别进入了新的发展阶段，很多优秀的模型和方法被提出，并产生了一些成功的商用系统。1998 年后，对光照、姿态、表情、年龄、噪声污染、遮挡、小样本问题[36]等的研究逐渐增多，鲁棒性人脸特征描述成为了研究热点，这方面的研究成果层出不穷[22-30]。首先将图像矩阵转化为图像矢量，然后以该图像矢量作为原始特征进行鉴别分析，其基本特点是计算复杂度低、描述能力强、可分类性好等，是人脸识别中的主流方法之一[37]。Turk 和 Pentland 提出的基于主成分分析（Principle ComponentAnalysis，PCA）的特征脸（Eigenfaces）[38]是这类方法的里程碑，为后来的研究奠定了基础，也是目前人脸识别性能测试的基准算法。后来涌现的方法中最重要的是由 Belhumeur 等人提出的基于线性判决分析（Linear Discriminant Analysis，LDA）的 Fisherfaces[39]和 He 等人提出的基于保局投影（Locality PreservingProjections，LPP）的 Laplacianfaces[40]。以上几种方法都出现了很多改进，以 PCA为例，有 2D-PCA[42]、Modular PCA[43]、Subpattern-PCA[44]、基于小波子带的 PCA[45]、Factored PCA[46]等。

第三章 视频监控中视频增强方法研究 .........36

3.1 引言 ........ 36

3.2 算法描述 .... 3

3.2.1 RGB 色彩空间与 YCbCr 色彩.... 39

3.2.2 小波变换与数字图像处理 ......... 40

3.2.3 基于小波变换的光照分离 ......... 43

3.2.4 背景估计和运动区域检测 ......... 45

3.2.5 融合规则和图像重构 ....... 47

3.2.6 算法流程 ..... 49

3.3 实验结果与分析 .... 50

3.4 本章小结 .... 52

第四章 视频监控中视频编码快速算法研究 .....54

4.1 引言 ........ 54

4.1.1 H.264/AVC 视频编码........ 5

4.1.2 可伸缩视频编码 ..... 56

4.1.3 小结 ......... 57

4.2 一种适宜于 H.264/AVC 的帧间快速编码算法 .... 57

4.3 一种质量可伸缩编码中增强层帧间快速算法 .... 73

4.4 本章小结 .... 81

第五章 总结与展望 .......83

5.1 工作总结 .... 83

5.2 展望 ....85

结论

视频的智能分析与处理、视频的压缩与传输是视频监控系统中最重要的两个方面，也是下一代视频监控系统发展的基础和研究的重点。本文仅针对视频监控中的光照鲁棒性的自动人脸识别问题、夜间低光照视频的增强问题和视频编码速度优化问题做了较为深入的研究。在研究过程中，完成了以下几项工作：

（1）提出一种使用轮廓波变换和基于人脸光照模型的光照不变特征描述方法，该方法通过对轮廓波变换域内的系数作处理以提取出光照不敏感的特征，计算过程比较简单，在 Yale B 和 CMU PIE 数据库的实验表明该方法能够有效提高光照变化条件下的人脸识别率，具有良好的光照鲁棒性。

（2）提出一种基于混合投影函数和图像熵的人脸特征描述方法，首先把图像适当分块从而减弱图像局部扭曲对识别的影响，然后利用混合投影函数提取特征进而构建人脸特征矩阵。在ORL、Yale、CMU PIE等数据库的实验表明，该方法具有一定的优势。

（3）提出一种基于融合的夜间视频增强方法。该方法首先利用一种基于小波变换和色彩空间转换的算法进行光照分离，然后分别对背景区域和运动区域进行增强。实验表明，该方法能有效改善夜间视频的质量。

（4）提出一种结合运动、纹理和时/空间相关性的适宜于 H.264/AVC 的帧间快速编码算法。该算法首先利用运动和纹理预测可能的编码模式，然后对可能的模式利用时间和空间相关性预测可能性大小，最后按照可能性大小顺序编码，并结合率失真值和残差系数提前终止。实验表明，该算法能有效提高编码速度而几乎不影响编码效率。

参考文献

[1] P. Remagnino, S. A. Velastin, G. L. Foresti,et al. Novel concepts and challenges for the nextgeneration of video surveillance systems[J]. Machine Vision and Applications,2007,18:135-137

[2] 陈兵旗，孙明．实用数字图像处理与分析[M]. 北京：中国农业大学出版社、清华大学出版社，2007,1-25

[3] 雷玉堂．安防视频监控实用技术[M]. 北京：电子工业出版社，2011,1-72

[4] W. Lin. New technologies for video surveillance systems[D]. Seattle: University ofWashington, 2010

[5] R. T. Collins, A. J. Lipton, T. Kanade, et al. A system for video surveillance and monitoring:VSAM final report[R]. Pittsburgh: Carnegie Mellon University, 2000

[6] A. Y. Johnson, A. F. Bobick. A multi-view method for gait recognition using static bodyparameters[C]. International Conference on Audio- and Video- Based Biometric PersonAuthentication, Halmstad, Sweden, 2001, 301-311

[7] Y. Tian, A. W. Senior, A. Hampapur, et al. IBM Smart Surveillance System (S3): eventbased video surveillance system with an open and extensible framework[J]. Machine Visionand Applications, 2008, 19:315-327

[8] 张一．智能视频监控中的目标识别与异常行为建模与分析[D]. 上海：上海交通大学，2010

[9] 宋波涛．智能视频监控系统的设计与实现[D]. 长春：吉林大学，2009

[10] 孔晓东．智能视频监控技术研究[D]. 上海：上海交通大学，2008