0 引 言

在当今的信息社会，监控摄像头已经遍布大街小巷。但是如何在发生异常情况之后在海量的监控视频中查找事件产生的原因，即在原始的视频流中找到感兴趣的视频内容形成紧凑的摘要，这些摘要简短便于组织、能够快速浏览检索对象。对此，国内外对视频摘要技术进行了研究，提出了一些较为成熟的摘要系统，如哥伦比亚大学设计的VideoQ[1]系统、FX PaloAlto实验室提出的VideoManga[2]系统、国防科技大学开发的Videowser[3]系统。视频摘要[4-5]研究领域主要分为视频概略以及视频梗概(视频概述、精彩片段)。阿姆斯特丹大学设计的Goalgle[6]足球视频搜索引擎，通过Web端搜索视频找到足球场上红牌、黄牌、进球和换人等事件，也可以针对特定的足球运动员进行搜索操作，以获得单个运动员的运动事件。在视频概略中基于对象的视频摘要技术[7],即通过目标跟踪获取目标的连续信息，将不同时刻出现的目标显示在同一画面中，如果目标检测不准确、跟踪的连续性较低，则会导致摘要断裂、重复等。

而在跟踪过程中，背景的复杂以及人本身的遮挡、变形使得目标的长效跟踪变得很困难。文献[8]融合目标的颜色、纹理、运动信息进行相似度比对；文献[9]定义目标的遮挡类型，根据不同的类型采取不同的方法以提高鲁棒性；文献[10]联合目标的颜色、纹理特征并使用卡尔曼滤波预测-跟踪的方案减少遮挡的影响；而文献[11-12]加入目标的显性特征同时增加目标的搜索区域，从而解决目标的遮挡问题。

文中针对在视频摘要中目标信息不连续的问题，提出在基于JPDA的跟踪下加入颜色和纹理特征进行重识别，当目标被稳定跟踪时提取目标的颜色和纹理特征，并且随着时间变化进行更新，当发生遮挡时不进行更新。通过增加目标运动方向的搜索范围使得目标再次出现时能被识别从而获得目标的长效摘要，使得视频概略中目标的连续性更高。

1 多目标关联算法

进行多目标跟踪最重要的算法就是数据关联算法[13]，在真实的情况中存在许多影响关联准确性的外部因素。而联合概率数据关联(joint probabilistic data association，JPDA)是目前公认的在杂波环境下对多目标进行跟踪的最理想的方法之一。其主要思想是当某测量在多个目标的候选区域内，即测量可能源于多个目标。JPDA的目的就是计算每一个测量与其可能源于的所有目标的关联概率，且认为所有的有效测量都可能源于某个特定目标，只是它们源于不同目标的概率不同，源于某目标概率最高的测量即成功匹配。联合概率数据关联算法具有良好的性能，但是该算法中，联合事件数是所有候选测量的指数函数，并随着量测密度的增大而迅速增大，致使出现组合爆炸现象。文中使用的JPDA算法[14]改进了计算复杂度，在联合事件数进行爆炸式增长时，选择最优的100种假设进行联合概率的计算，大大减少了复杂场景下的计算率。

图3为波浪作用下沉管周围海床的渐进液化。由图3可见，沉管近、远场海床显示了不同的渐进液化特性。远场的液化最先发生在海床面，并逐渐向下扩展。随着波浪持续作用，远场液化区域的发展最终由二维问题转变为仅随深度相关的一维问题。在波浪作用的40周后，远场海床液化深度达到4.8 m。近场处，沉管顶板和底板区域处海床最先发生液化，在此之后，液化区域沿着沉管周围逐渐扩展，除与海床面的液化区域逐渐连成一片外还不断向下扩展，沉管底板下部1.1 m深度海床也发生液化。

纹理是图像灰度和色彩在空间上的变化和重复，它体现了物体表面的具有缓慢变化或者周期性变化的表面结构组织排列属性，通过像素及其周围空间邻域的灰度分布来表现，即局部纹理信息。LBP(local binary pattern,局部二值模式)是一种描述图像局部纹理特征的算子。文中使用的纹理特征为具有旋转不变性的LBP算子：在以R为半径的圆形区域内选取P个采样点，若周围像素值大于中心像素值，则该像素点的位置标记为1，否则为0。这样将得到一个LBP算子，而当图像发生旋转时，只要LBP算子的值不为全0或全1，LBP算子的值会发生改变。不断地旋转圆形邻域将得到一系列的LBP值，然后取其最小值作为该邻域的LBP值。

我被连夜挖起来，园林工锯掉我死去的树根，又用凿子挖掉树干的腐败部分，在几条漂浮的残存的细根附近，他们用生根粉处理了一下，我就栽到了市政广场的一处假山附近。把我栽到这里，假若死去了，比起栽在广场中心，没有那么打眼。

 

(1)

其中，为时刻t的第j个目标的预测位置；PD为检测概率；β为误检密度；N(·)为正态分布；∑s为卡尔曼滤波的协方差矩阵。

联合数据关联空间Θ的定义为满足以下几种条件的所有可能的测量与目标的组合：

由表1可知，油路系统承载了空压机产生的大部分热量，是余热回收的主要载体，虽然压缩气体的温度值相对较低、可利用热量较少，仅占总热量的22%，但仍可作为辅助热源提供换热量，利用润滑油的余热余能进一步提高回收热量，提高供水温度。

(1)每个检测(除了丢失的情况即i=0)至多分配一个目标；

(2)利用卡尔曼滤波预测目标的位置，求在目标预测位置距离阈值内的量测以及量测属于该目标的概率若目标此时丢失，则扩大目标的搜索范围，半径为丢失前的速度乘以丢失帧数。

2017年，全市各类电子商务市场主体超20万户，其中活跃网店超12万家，活跃网商增长势头良好，入驻淘宝企业店铺的网店增幅明显，入驻天猫、京东、苏宁等平台网店则趋于稳定，服装服饰、3C数码、食品等网店热销。2017年，全市线上商贸企业网上商品零售额298.52亿元，同比增长34.3%，高出非线上商品零售额增速21.3个百分点。

这个空间集合通过一系列的二进制向量表示为：

计算目标的纹理特征直方图时，用矩形区域表示跟踪目标。使用半径为R的有P个采样点的LBP算子，目标模型的像素点总数为n，将目标的纹理特征空间均匀分成2P个直方图区间，目标模型的直方图表示为ht，则目标模型的直方图由下式计算：

(2)

其中，|Θ|=：nh为联合分配的总数；θ∈Θ⊆BN×(M+1)为数据关联问题的一种可能的解决方案的二进制向量。

令⊂Θ为包含检测i分配给目标j所有解决方案的集合，表示为联合概率可表示为可通过边缘化该集合得到：

 

(3)

其中

 

(4)

最后，将所有的联合数据关联概率进行归一化，其中源于该目标联合概率最大的测量即为目标j的匹配测量。

2 多目标跟踪算法

由以上获得目标联合概率的方式可知，在计算目标的联合概率时利用了卡尔曼滤波的预测位置以及当前的目标位置。而卡尔曼滤波仅针对线性运动，在真实的运动场景中目标可能会与原来的运动方向有所偏差，并不是线性运动。因此仅根据联合概率进行目标关联会使得跟踪效果缺乏鲁棒性，由此介绍基于位置预测结合弱特征的匹配关联模型。

希望在改进目标的跟踪鲁棒性的同时能兼顾实时性能，故选取的特征都是具有代表性并且计算复杂度较低的。在图像中，颜色特征能够描述目标的全局特征，对目标形变，旋转不敏感，但是当背景颜色相似、光照强度大以及存在遮挡时影响较大。纹理特征描述图像区域的本质属性，对光照变化、噪声有较强的适应性，具有旋转不变性。通过两个特征的互补可以适应复杂情景，实现更为鲁棒的跟踪。其中对颜色特征，选取颜色直方图，将RGB空间转换为HSV空间，减少光照的影响。

2.1 LBP特征提取

使用和分别代表时刻t的N个目标以及M个测量的状态。状态向量为时刻t中有关第j个目标的所有动态信息，例如位置和速度可简单表示为表示在时刻t测量i∈[M]0{0,1,…,M}由目标j∈[N]{0,1,…,N}产生的概率。其中若i=0，表示目标丢失。在线性高斯模型下，由以下方式获得：

*2i

(5)

其中，gc表示中心的像素值；gi表示周围的像素值。

 

(6)

其中，ROR表示通过向右移位取不同的LBP。

在跟踪过程中，若光照发生改变或目标发生旋转，可以保持目标的特征函数不变，增加目标函数匹配度，提高跟踪的准确性。

评价一个微物理方案模拟降水能力的好坏,关键还是看降落到地面上的降雨量与实际情况是否相接近。因此对于MOR和MY这两个方案模拟的强降水区的雨滴的空间分布的分析是十分必要的。本次降水过程,各种水凝物粒子最终都转化成雨滴降落到地面上,因此,考虑两方案模拟此次降水能力的好坏,可以从对比两方案模拟的雨滴的空间分布上进行研究。本文选取MOR方案的剖面纬度为42.1°N,选取MY方案的剖面纬度为41.8°N,画出在强降水时刻07时雨滴质量浓度和数浓度垂直剖面分布,图中还显示了大气层温度信息,风场信息。

Θ=∀∀j∈[N]}

 

(7)

其中，m()为求旋转不变LBP值的函数；hist()表示将矩阵转换为直方图。

其中，S和M分别为LBP直方图特征向量。

由于LBP特征以直方图形式表征,因此可以使用卡方统计来度量两个LBP特征之间的差异,即

喷洒装置的安装首先必须保证行车安全与畅通，并尽量减少对相关道路设施的不良影响，尤其是在快速路上的施工，全面研究分析喷洒装置的安装对道路净空、防炫效果、驾驶安全等方面的影响显得尤为重要。

 

(8)

从这个意义上而言，希望我们这支庞大的写作队伍，尤其是基层的作家们，能多一些来自生活本身的朴素表达，发挥在民间的优势，少一点“文艺腔”的陈词滥调。

综上所述，妇好私名叫“子”，是商武丁王的一位杰出的后妃，因其战功显赫而裂土受封，其封邑也因她而得名为“子”，其后裔衍生为氏族，即为殷商之子族，她的子孙以族名为氏而有了子氏。宋国的开国国君微子启，实乃是商王朝子族之人，因此，宋的国姓为子姓，乃是因其开国国君启为“子”族，而子族追根溯源是妇好之后裔，妇好才是子族之祖。由此，以往的两个观点需要重新探讨，一个是“子”姓因殷商的始祖契而得姓，很可能子姓与契没有什么关系；一个是历代注释家把殷商说成是“子”姓，现在看来，宋之子姓并不能代表殷商之族(国)姓。

故事开始时，李公甫和许姣容已经是一对老夫老妻的模样。他忙着抓盗贼管治安，上上下下地应对衙门里的一干人等；她忙着烹饪缝补，勤勤勉勉地处理大事小情。典型的“男主外女主内”，各司其职共同努力，为的都是同一个字——家。

2.2 基于颜色和纹理的JPDA算法

由于卡尔曼滤波无法预测非线性运动，若目标被遮挡进行非线性运动，利用联合概率进行关联很可能会关联不是由此目标产生的测量，错误的关联将导致当前帧两个目标都发生错误匹配，并且在后续的过程中无法纠正。而加入了弱特征的JPDA算法根据丢失帧数加大搜索范围，即在目标的运动方向的半个圆内搜索量测进行特征匹配，极大地避免了目标遮挡所带来的跟踪错误。

  

图1 在候选区域周围增大搜索范围示意

图中A为丢失匹配前的最后位置，箭头所指方向为目标出现第一帧位置与A位置的连线方向。由于真实情况中被遮挡目标折返的情况比较少，搜索方向为与目标运动方向垂直的半个圆的方向，距离为丢失时的运动速度乘以丢失的帧数。

可是纷纷扬扬的花瓣雨从天而下，并不是给他们来当宵夜的，少年们很快就尝到了香艳粉腻的温柔乡的苦头。他们的舌头与脸庞，并没有分辨出来，花瓣的种类与疏密，色泽与气味，其实在与空中震动的声响呼应。

为了避免JPDA因测量距离目标较近使得联合概率变大导致跟踪错误，对在阈值范围内的检测和目标的特征匹配，增加目标跟踪的准确性，同时由于颜色直方图和纹理特征计算简单，仍能使得算法实时性保持良好。加入弱特征的JPDA算法流程如下所示：

(1)将第一帧的检测作为初始跟踪目标。

(2)一个目标只能分配一个检测。

(3)根据计算目标与阈值范围内检测的联合概率用联合概率中最大的概率更新目标的状态。

下面以绵阳某220 kV变电站为例进行介绍，其他站点分析类似。该变电站的用户为某研究院，系统变电站的线路中包含1个220 kV变电站和2个110 kV站。其中，各边电压暂降监测点部署方案为系统侧安装数量为1台，用户侧安装数量为3台，无线模块数量为2个。

(4)若目标被连续跟踪不小于3帧，则计算目标的颜色和纹理特征，保存为特征模板。目标被稳定跟踪并且匹配的检测并未与其他检测有重叠部分，则认为该目标为单独目标，并且特征模板与当前帧目标特征对比在阈值范围内，则更新特征模板的值。

(5)将在丢失的目标的搜索范围内并未匹配其他目标的量测与该目标的特征值进行比对，若颜色直方图相关系数大于α且纹理直方图差异小于β，则认为该检测为此目标产生，更新目标的状态；若两个特征比对只满足一个条件，则该检测被认为是此目标的子目标，在后面的跟踪过程中再进行特征比对，防止测量被物体遮挡只露出一部分的情况。当前帧所有目标状态更新完成即进入步骤2，进行下帧跟踪。

3 实验结果及分析

使用Matlab2015b进行仿真，实验图片序列来自于TUD-campus与TUD-stadtmitte，是以较低的视角拍摄的大学以及街道的图片。检测结果均来自DPM(deformable parts model)[15]，然后使用该算法进行跟踪。为了测试算法的优劣，对上述图片进行测试，并对仿真的结果进行比较和分析。为了方便观察，只给出了部分会发生遮挡的目标的跟踪结果。

3.1 较长距离遮挡实验

图2中，实验的测试序列为一组学校道路的图像，TUD-campus总共由71张640×480的图片组成。在这组图像中拍摄的角度为人的侧面，由于摄像机的角度问题会使得目标运动时发生遮挡。当目标在第5帧时，原算法及文中算法均能跟踪目标，此时目标未发生遮挡，两种算法均识别为目标2；第20帧时发生遮挡，但由于遮挡时间较短且为线性运动，根据卡尔曼滤波的预测，两种算法也均能识别目标2；当目标随后被完全遮挡40帧(即检测不出此目标)之后再次出现时，原算法将原目标2识别为新目标19，原目标与预测位置的距离超过丢失阈值后则认为丢失，形成了两条目标摘要。而文中算法增加了搜索区域，只要目标的丢失帧数小于消失阈值45都会进行重识别，将与丢失目标运动方向一致且在搜索范围内测量的特征进行对比，从而实现目标的重识别。

  

图2 较长距离遮挡实验

3.2 相同颜色遮挡实验

图3中，实验的测试序列TUD-stadtmitte由179张640×480的JPG图片组成，为一组在商店门口拍摄的图片序列，目标在运动过程中会出现被穿有相似颜色衣服的人遮挡的情况。由对比图片可知，在第4帧时两种算法均识别目标1；而当目标被穿有相似颜色衣服的人遮挡之后再次出现时即第49帧，由于原算法将未与其他检测匹配的目标认为是新目标，故识别为新目标14，而文中算法将新出现的目标与丢失的目标进行特征匹配识别为目标1；在第68帧目标再次被遮挡之后，原算法根据距离最近的检测匹配识别为目标13，而文中算法将量测与在距离阈值内所有的丢失目标进行特征对比并且选择匹配度最高的目标匹配，故识别为目标1。

  

图3 相同颜色遮挡实验

3.3 实验对比分析

对两种算法下获得的总摘要数和正确摘要数进行了分析和对比，如表1所示。

 

表1 算法的结果对比

  

算法数据集实际摘要总摘要正确摘要原算法TUD-campus8141文中算法TUD-campus8105原算法TUD-stadtmitte10195文中算法TUD-stadtmitte10169

表1中的实际摘要数是数据集中实际存在的轨迹数，而总摘要数是最后的跟踪结果中记录的目标位置大于两帧的轨迹数，只记录一帧位置轨迹被认为是误检且不认为是真实目标轨迹。正确摘要数指当目标离开画面时的ID与进入画面的ID是相同的，即认为目标被正确跟踪。

通过比较得出，文中算法较原算法减少了总摘要数，增加了正确摘要数。在TUD-campus图片序列中，有三个目标出现时一直重叠在一起，检测时只能识别为一个目标，则获得一个目标的摘要，无法判断为三个目标。在TUD-stadtmitte中，存在一个目标提取特征时为目标侧面而遮挡之后再出现时为目标正面，由于目标的自旋转导致特征匹配度下降，匹配失败，从而导致无法获得连续的目标摘要。

4 结束语

在现实生活场景中，常常存在目标与背景颜色相似的情况或者目标被遮挡的情景。利用传统的跟踪算法无法对目标进行准确的跟踪，而文中利用目标的颜色特征和纹理特征对目标进行描述，避免了背景与目标颜色相似时的跟踪错误。并且当目标丢失时根据运动目标的速度增大搜索区域以解决目标遮挡问题。通过实验证明，该算法有更好的鲁棒性。未来将考虑利用目标更多有效的、互补性强的特征，使得在复杂场景的跟踪更加准确。

参考文献:

[1] CHANG S F，CHEN W，MENG H J，et al．VideoQ:an automatedcontent based video search system using visual cues[C]//Proceedings of the 5th ACM international conference on multimedia．Seattle,Washington,USA:ACM，1997:313-324.

[2] UCHIHASHI S，FOOTE J，GIRGENSOHN A，et al．Video manga:generating semantically meaningful video summaries[C]//Proceedings of the seventh ACM international conference on multimedia.Orlando,Florida,USA:ACM,1999:383-392.

[3] 吴玲琦，李国辉．视频结构化浏览和查询系统:Videowser[J]．小型微型计算机系统，2001，22(1):112-115.

[4] KIM E Y,PARK S H.Automatic video segmentation using genetic algorithms[J].Pattern Recognition Letters,2006,27(11):1252-1265.

[5] 王 娟,蒋兴浩,孙锬锋.视频摘要技术综述[J].中国图象图形学报,2014,19(12):1685-1695.

[6] SNOEK C G M，WORRING M．Time interval maximum entropy based event indexing in soccer[C]//Proceedings of IEEE international conference on multimedia and expo．[s.l.]:IEEE，2003:481-484.

[7] 刘松涛,殷福亮.基于图割的图像分割方法及其新进展[J].自动化学报,2012,38(6):911-922.

[8] TAKALA V,PIETIKAINEN M.Multi-object tracking using color,texture and motion[C]//IEEE conference on computer vision and pattern recognition.Minneapolis,Minnesota,USA:IEEE,2007:1-7.

[9] 张彦超,许宏丽.遮挡目标的分片跟踪处理[J].中国图象图形学报,2014,19(1):92-100.

[10] 谢建超.基于多特征联合的多目标跟踪的研究[D].哈尔滨:哈尔滨工业大学,2015.

[11] 姚原青,李 峰,周书仁.基于颜色-纹理特征的目标跟踪[J].计算机工程与科学,2014,36(8):1581-1587.

[12] 田 浩,巨永锋,王 培.改进的抗遮挡MeanShift目标跟踪算法[J].计算机工程与应用,2016,52(6):197-203.

[13] 魏 祥,李 颖,骆荣剑.数据关联算法综述[J].无线互联科技,2016(11):101-102.

[14] REZATOFIGHI S H, MILAN A, ZHANG Z, et al.Joint probabilistic data association revisited[C]//IEEE international conference on computer vision.[s.l.]:IEEE,2016:3047-3055.

[15] FELZENSZWALB P F,GIRSHICK R B,MCALLESTER D,et al.Object detection with discriminatively trained part-based models[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2010,32(9):1627-1645.