一种基于监控视频的车型识别和车流量检测算法

　　摘  要： 针对智能交通系统中的实时和车流量统计，提出了一种有效的车流量检测和车型识别算法。首先根据机动车道在视频图像中设置虚拟线圈作为检测区域，运用背景差分提取前景目标，并采用基于颜色和纹理的方法去除所检测目标中的阴影部分。然后采用两步法进行车型识别并统计对应的车型的车流量。先通过提取目标车辆轮廓的外接最小矩形框面积初步识别车型，然后引入扩展Kalman滤波的跟踪模型统计车辆轮廓目标经过检测区域的帧数，进一步判断所属车型，最后统计对应车型的车流量。实验表明该方法具有较高识别和统计精度，满足对车辆实时监控管理的要求。

　　关键词： 阴影检测；；车型识别；车辆跟踪

0 引言

　　近年来随着机动车保有量的迅速增加，交通拥堵等各类交通事故频发。为了解决日益恶化的交通问题，智能交通系统（Intelligent Transport System）应运而生。交通监控系统是智能交通系统（ITS）[1]的重要组成部分，而车型识别、车流量检测是交通监控系统自动化的基础部分，为进一步提取、分析道路交通信息和控制车辆提供依据。目前用于车量检测的主要技术分为三类[2]：基于压电回路的永久埋入式系统、悬挂式系统和基于图像处理技术的视频车辆检测系统。其中基于图像处理技术的视频车辆检测系统利用图像处理与识别技术，通过视频信息检测道路车流量、车型、车速等交通流信息，具有成本低廉、安装和维护简便、应用范围广等优点，被广泛采用。

　　针对交通视频中的运动车辆目标检测，当前主要方法有：帧间差分法、光流法、背景差分法[3]。其中背景差分法计算简单，是目前最常用的方法。Wren等人[4]提出了通过单高斯背景模型对每一个像素建立高斯模型来表征像素在时间轴上的变化，但当固定位置的像素值不断改变，像素颜色值不是单峰分布时，单高斯模型描述不够准确。周世付等人[5]提出高斯混合模型（Gaussian Mixture Model，GMM），用K个单高斯分布来描述每个像素，再对每个单高斯分布进行加权。混合高斯背景模型虽然能够处理复杂、非静止的多模态背景，但它在背景变化较快的时候效果极巨下降，除此之外它的时间复杂度也较大。背景差分法可以获取完整运动物体外形，但是通常计算量也较大，综合考虑检测效果以及计算量等因素，本文采用均值背景差分和自适应阈值选取相结合的方法[6]，获取可靠前景、背景。

　　车辆阴影的存在严重影响了车辆检测的效果，需要对其进行检测与去除。冯文刚[7]等提出一种基于多颜色空间的车辆阴影分割方法。殷保才[8]等提出了一种融合纹理和阴影属性的阴影检测去除算法。然而，这些单独利用阴影颜色、纹理不变等特征检测阴影的方法在实际使用中效果均不够理想。因此本文采用综合颜色和纹理的阴影检测算法[9]实现对阴影的去除。

　　车流量统计和车型识别的研究经过多年的发展也总结出许多方法，参考文献[10]中利用长宽比和占空比的联合概率进行判定。参考文献[11]提出了快速的连通区域标记算法和基于边缘检测的邻近区域连接算法，可以做到实时、准确地提取物体轮廓。本文采用判断轮廓最小矩形框面积结合统计帧数的方法，该方法首先通过提取的车辆轮廓外接最小矩形框的面积初步识别车型，再引入扩展Kalman滤波跟踪模型，跟踪车辆轮廓目标经过检测区域的帧数，进一步判断所属车型并统计对应车型的车流量。

1 算法理论

　　算法原理如图1所示，首先对视频监控图像预处理，根据粗糙背景设置虚拟线圈作为检测区域，以便最大限度地减少冗余计算。接着采用均值法提取背景，用Ostu自适应阈值进行图像二值化，再对所得前景部分去除阴影，接着检测前景轮廓，根据包围轮廓的最小矩形框面积结合虚拟检测区域跟踪车辆的帧数，进而识别判断车型以及统计对应车型的车流量。

　　1.1 虚拟检测区域设置

　　根据道路监控摄像头的安装要求及通常摄像头近端车辆遮挡较少的情况，本文将虚拟线圈放置于图像中下部的车道上。线圈的长度设置为整个道路的宽度，线圈的宽可以根据需要进行控制，通常取普通车型的70%车长[8]，以实现对多车道车流量的检测。

　　1.2 前景目标提取

　　为了保证整个算法的时效性，采用均值法进行背景提取，获取运动的前景目标。算法如下：

　　（1）将彩色图像灰度化，对灰度图的每一像素求取平均值。如式（1）：

　　其中i=1，2，…，n；Pi（x，y）为第i帧对应点（x，y）的像素值，A（x，y）为该点的平均值。

　　（2）将n幅图像中同一点像素与对应的均值A（x，y）求差值，再将绝对差值累加，然后取平均值，并遍历图像中其他的所有像素。如式（2）：

　　其中n为提取的帧数。

　　（3）修正差异大的点，假如某像素点与均值的绝对差值大于平均绝对值误差，则该点就取平均值像素值，否则就取当前帧对应像素的值。如式（3）：

　　（4）对修正好的每一个像素求平均值，记为B（x，y），得到的图像即为背景图像。如式（4）：

　　获得初始背景后，通过计算当前帧与背景图像的差值获得前景运动图像，得到的前景图像Dk（i，j），如式（5）：

　　由于背景图像会随着环境的变化而变化，需要对背景进行实时更新。更新方法如式（6）：

　　其中?兹为0~1之间的数。

　　如果Dk（i，j）≠0，则判断它为前景，背景保持原来的值。如果Dk（i，j）=0，则判断它是背景，更新背景值。

　　不同的光线背景下分割出的差分图像，不能用固定阈值进行二值化，通常交通监控图像的灰度分布比较集中，因此采用Ostu算法（最大类间方差法）[3]，确定一个最佳阈值进行图像二值化处理，从而较好地区别背景和前景。图2（a）中为提取出的背景图，（b）为提取出的带阴影的前景目标。

　　1.3 前景目标阴影消除

　　经过前述方法提取的前景目标图存在阴影干扰，这给后续的车型识别跟踪等带来困难，因此需要去除阴影。本文采用基于颜色和纹理的运动车辆阴影检测方法[6]进行运动区域中的阴影检测并去除。

　　经典的基于纹理的阴影检测算法和SNP（统计无参）阴影检测算法均能较好地检测出阴影，但各自存在一定的缺陷[9]。SNP阴影算法当物体的颜色和阴影颜色相近时，处理效果较差，基于纹理的检测算法适用于阴影较浅时，当阴影很重时几乎不存在纹理，算法即会失效。通过分析交通车辆阴影的特点，本文采用一种综合颜色和纹理的阴影检测算法，其流程如图3所示。

　　具体步骤如下：

　　（1）对采集的交通监控视频进行预处理，通过均值差分、ostu等方法提取出前景目标块Q。

　　（2）对前景图像进行形态学的腐蚀处理，得到Qe。

　　（3）将Q与Qe作差得到前景图像的边缘信息：Qd=Q-Qe。

　　（4）将前景图像Qe分别进行基于纹理的阴影检测和基于SNP的阴影检测，两种处理得到的结果做“与”运算。

　　（5）对边缘图像Qd进行基于颜色的SNP阴影检测。

　　（6）依据式（7）和（8）标记出上述图像中的阴影点。

　　SNP算法阴影判断标准为：

　　其中Ts和Tc均为阈值，ai和CDi分别为亮度失真度和颜色失真度。

　　纹理检测算法阴影判别准则为：

　　其中ε、τ为阈值，GBε，x、GBε，y代表背景像素点各通道水平和垂直方向的一阶梯度，GFε，x、GFε，y代表当前帧像素各通道水平和垂直方向的一阶梯度。

　　（7）将标记为阴影点的像素从前景中去除，得到属于车辆的前景目标块。将得到的前景进行形态学处理，先用3×3的结构元素开运算，再用7×7的结构元素进行闭运算，从而得到完整的饱满的车辆目标块信息。

　　1.4 车辆轮廓提取和车型识别

　　针对去除阴影后的前景目标块，由于每个车辆目标都是以在空间上连通的区域表示的，识别不同车型的关键是提取出车型的轮廓再加以判断，这里进行两步法中的第一步，即提取目标车辆轮廓的外接最小矩形框面积，初步识别车型。提取轮廓的算法步骤如下：

　　（1）对去除阴影后的前景目标图像采用canny边缘检测，得到目标车辆的边缘轮廓。

　　（2）针对canny边缘检测存在着断裂的情况，对其进行形态学处理，即膨胀、腐蚀等操作，得到完整的轮廓图。

　　（3）求取包含轮廓的最小矩形框的面积A。

　　车辆的种类一般按车辆的大小分为大型车、中型车、小型车等，这里通过各车型的外接最小矩形框面积A的大小初步判断车辆的类别，按照式（9）对车辆进行车型识别划分。

　　1.5 车辆跟踪及统计车流量

　　对检测出来的车辆进行形态学处理后，再进行两步法的第二步，即引入扩展Kalman滤波的跟踪模型统计车辆轮廓目标经过检测区域的帧数，进一步判断所属车型。通过分析连通区域获得每个车辆目标的质心位置，利用Kalman预测方法对每个车辆在虚拟检测区域内进行跟踪。本文采用标准Kalman滤波器扩展方法[10]进行车辆运动估计，预测方程和观测方程定义如下：

　　式中参数F、P等取值见参考文献[10]，跟踪过程中，由于相邻2帧之间的时间间隔很短，目标运动变化较小，因此假设目标在单位时间内是匀速运动。基于Kalman滤波的车辆跟踪算法通过运动估计和目标匹配两个步骤实现对车辆的跟踪，利用前一帧获得的参数作为状态变量t，当前帧获得的参数作为观测值zt+1，通过滤波推导获得估计值。再以估计值为中心进行目标匹配，具体跟踪方法见参考文献[10]。

　　利用跟踪模型跟踪统计目标轮廓通过虚拟检测区域所需的帧数f，对经过式（9）判断的目标轮廓采用式（11）做进一步车型判断，分别统计相应车型的车流量。

　　其中数字代表各车型通过检测区域需要的帧数。

2 算法步骤描述

　　本文建立的基于监控视频的车型识别和车流量检测算法步骤如下：

　　（1）从交通监控视频中读取视频帧图像，设定检测区域，运用均值法、ostu法提取出目标前景信息。

　　（2）判断前景目标中是否存在车辆目标信息。如无则转步骤（1）读取下一帧。

　　（3）采用基于颜色和纹理的阴影检测算法对提取的前景去除阴影。

　　（4）对去除阴影后的目标块采用canny边缘检测法检测轮廓并提取轮廓的最小外接矩形，按照式（9）判定车型。

　　（5）利用卡尔曼滤波器跟踪车辆，统计车辆经过检测区域需要的帧数，按照式（11）对车辆类型做进一步判断，统计相应车型的车流量。

3 实验仿真及结果分析

　　为了验证算法的有效性，运用交通监控视频图像进行实验，实验环境为：vs2010，计算机配置为酷睿i3处理器和4 GB内存，OpenCV2.4.4开源库。

　　图4是对视频的第100帧提取的图像，其中（a）是采用均值法和ostu法提取出的带阴影的前景目标，（b）是采用基于颜色和纹理的阴影检测法检测的结果，（c）是去除阴影后的结果，可以看到阴影基本被消除。

　　图5是从视频中150帧图像提取的轮廓外接最小矩形图。（a）是未经阴影处理时提取的结果，（b）为经过阴影去除后的提取结果。可以看到（b）图中经过阴影处理排除了（a）图中由于阴影粘连将两个车辆目标提取成一个轮廓的情况。

　　应用本算法对多段视频进行了实验，针对不同天气条件（如晴天，阴天）多车道车流量统计的结果分别如图6所示。其中（a）为在阴天环境下检测结果，（b）为在晴天环境阴影比较重时的检测结果。实验结果如表1所示，其中给出了小、中、大型车的数量。

4 结束语

　　针对智能交通系统中实时进行车型识别和车流量统计的需求，提出了一种按车道进行机动车车型识别并统计车流量的方法，该方法对阴影进行有效去除，将车型识别和车流量统计结合起来，计算复杂度低，稳健性好。实验结果表明，本算法识别检测精度较高，能达到系统的实时性要求。

参考文献

　　[1] 李瑞.基于视频的车辆检测与跟踪算法研究[D].上海：上海交通大学，2008.

　　[2] 李百惠，杨庚.混合高斯模型的自适应前景提取[J].中国图象图形学报，2013，18（12）：1620-1627.

　　[3] 墨芹.运动车辆视频检测与车流量检测方法的研究[D].长沙：中南大学，2012.

　　[4] WREN C R， AZARBAYEJANI A， DARRELL T， et al. Pfinder： real-time tracking of the human body[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，1997，19（7）：780-785.

　　[5] 周世付，李建雄，沈振乾，等.基于高斯混合模型的多车道车流量检测算法[J].计算机仿真，2012，（10）：331-335.

　　[6] 甘新胜.基于码书的运动目标检测方法[J].中国图象图形学报，2008，18（2）：365-371.

　　[7] 冯文刚，高隽，BUEKLES B，等.多颜色空间中目标约束的车辆阴影分割研究[J].中国图象图形学报，2011，16（9）：1599-1606.

　　[8] 殷保才，刘羽，汪增福.结合色度和纹理不变性的运动阴影检测[J].中国图象图形学报，2014，19（6）：896-905.

　　[9] 卢清华，吴志伟，范彦斌.基于颜色和纹理的运动车辆阴影检测算法[J].测试技术学报，2013（2）：252-254.

　　[10] Yang Yanfang， Qi Meibin， Wang Qian， et al. Multi-object tracking based on motion detection and motion search[J]. Computer Engineering， 2008，34（19）： 222-224.