基于集成分类器和光流法的无人机视频实时交通流参数估计

编者按：自然驾驶数据作为研究典型场景和边角场景的重要来源，对自动驾驶功能的测试与评价至关重要。相比于传统的车载数据采集平台，基于无人机的数据采集平台可以获得场景的全局视图，并且可以较好的解决车辆相互遮挡的问题。本文结合无人机，提出了一种新的，完整的视频流量参数估计分析框架。

摘要：近年来，无人机（UAV）的出现为智能交通应用开辟了新的机遇，例如自动交通数据收集。在这样的趋势下，快速，准确地从无人机视频中检测车辆并提取交通参数变得至关重要。本文提出了一种无人机视频流量参数估计分析框架。该框架被设计成四个阶段，解决了无人机在无规律的自身运动、交通拥挤情况下的估计准确性低以及计算复杂度高等备受关注的问题。在前两个阶段中，开发了用于车辆检测的集成分类器，在后两个阶段中，基于光流法和交通流理论开发了鲁棒的交通流参数估计方法。本文提出的集成分类器已证明其性能优于其他基于UAV的车辆检测而设计的最新车辆检测器。在车辆流动较为拥挤的交通状况下，对交通流量参数估计值进行了评估，都取得了较好的结果。

关键字：卷积神经网络，集成分类器，Haar级联，光流法，无人机视频，交通流参数

1 引言

在交通监控应用中使用无人机（UAV）变得越来越普遍。与传统的监视设备相比，无人机被认为优势更大[1] – [3]。大多数传统的交通监控设备会捕获固定位置的交通状况，因此需要许多设备来监控单个路段[4] – [7]。一些无人机可以覆盖连续的道路甚至交通网络。另外，无人机的视角是交通监控的另一个优势：通过获得俯视图，常规监视视频中道路用户之间的遮挡不太可能出现在无人机视频中。

除了一些诸如电池寿命短之类的实际问题之外，基于无人机的交通监控中最大的技术挑战是自身的抖动问题，由无人机自身运动引起的视频背景运动使得为固定监控视频设计的传统车辆检测和交通流量估算方法无法正常工作。为了简化对无人机在交通监控中的应用的检查，一些自身运动较少的无人机视频被用于一些初步研究。例如，赵等人[35]应用了卷积神经网络（CNN）并加速了鲁棒特征（SURF）来从无抖动的无人机视频中估计交通流参数。他们的方法在检测和跟踪方面实现了高精度，但不适用于运动背景变化的无人机视频。Yamazki等[25]基于连续两个无人机视频估计车速。

在本文中，作者提出了一种基于无人机视频的交通流参数估计框架，该框架结合了基于监督学习的车辆检测方法和光流法。该框架旨填补无人机在自身抖动的情况下交通流参数估计的空白。该框架包括四个阶段：前两个阶段用于车辆检测，后两个阶段用于估计交通流量参数（速度，车流量，车辆总数）。具体来说，此框架中的前两个阶段将Haar级联和CNN合并为一个整体分类器。第三阶段和第四阶段被设计为在无人机视频中估计交通流参数的一般过程。

2 相关工作

在交通工程领域，越来越多的研究是关于将无人机视频用作新型数据源。最近的工作集中在以下三类之一：道路检测[3],[8]-[10]，车辆检测和跟踪[11]-[22],[34]或交通参数估计[23]- [29],[35],[36]。

A.道路检测

道路检测对于无人机导航系统至关重要，尤其是基于视觉信息的导航系统。例如，Zhou等[3]设计了一种用于道路检测和有效跟踪的有效算法。金[9]进行了另一项代表性研究。他们提出的道路检测算法相对简单但实用：他们的算法首先从单个视频帧中了解道路结构，然后在其余视频帧中识别道路。

B.车辆检测与跟踪

曹等[18]通过多运动层分析提出了一种鲁棒的车辆检测和跟踪系统，这是使用无人机视频数据进行车辆检测/跟踪方面最具代表性的研究之一。监督学习方法已经越来越多地被应用。使用它们，可以根据车辆的模式识别车辆，因此可以在车辆检测任务中跳过复杂的视频背景运动问题。 诸如CNN或SVM之类的流行学习方法已经被证明可以很好地用于基于无人机的车辆检测[13],[35]。

C.交通参数估计

例如，McCord等[23]开发了一个使用卫星图像和航拍照片来估计年平均每日交通量的建模框架。Shastry和Schowengerdt[27]利用图像配准和运动信息成功估计了基本交通流参数。Ke等[29]提出了一种新颖的框架，该框架利用KLT跟踪器，k-means聚类，连通图和交通流理论基本方程来实时估计双向交通速度，密度和交通量。

3 方法及实验

框架包括四个主要阶段（见图1）。前两个阶段涉及车辆检测，后两个阶段涉及交通流参数估计。


图1 框架的四个阶段

第一阶段：Haar级联分类器的训练

本文使用OpenCV 2.4.12库[30]训练了Haar级联分类器。除了如上所述需将训练图像尺寸设置为60×40外，还需要在Haar级联训练过程中设置其他几个关键参数。首先，需要正确设置每个阶段的训练样本数量。每个阶段抽取了2,500个样本进行训练（1,000个阳性样本和1,500个阴性样本）。

训练所需的另外两个参数是每个阶段的最小命中率和最大假阳性率。将最小命中率设置为接近1，以确保召回所有车辆。每个阶段的最大假阳性率应设置为不大于0.5。但是，如果它太小（例如接近于0），则训练时间和过度拟合的机会都会急剧增加。只要召回率很高，Haar级联的每个阶段都比随机分类器稍好一点是完全可以接受的。因此，在训练中，这两个参数设置为0.999和0.5。非最大抑制被用作阶段1的最后部分，以进一步减少CNN需要检查的候选窗口。

第二阶段：用于车辆检测的卷积神经网络

在第一阶段Haar级联分类器的基础上，卷积神经网络或CNN被设计为车辆检测的最终分类器。通过这种结合，很好地利用了Haar级联的高效率和CNN的高精度，从而可以实现高检测率的实时车辆检测。

在本文的研究中，CNN是使用Keras在python中开发的，并在Nvidia GTX 1080 GPU上进行了培训。经过反复试验，本文的CNN架构选择包含两个卷积层，一个池化层和一个隐藏FC层（参见图2）。这两个卷积层具有相同的尺寸，尺寸为32×2×2，具有S型激活函数；然后添加池化层，以缩放因子2对第二个卷积层的输出进行下采样；在池化层和最终输出之间添加了具有128个节点的FC层。与其他更流行的CNN（例如AlexNet [42]或VGG [43]）具有更深的结构和更多的输出节点相比，该CNN结构重量轻，具有更少的层和参数。这是由于本文对实时操作的要求和较少类别（即车辆和背景）的需求所致。发现两个卷积层已经可以满足精度要求。值得注意的是，在两个卷积层之间没有池化层。这是因为训练和测试损失变得更高，而如果添加池化层，则总体检测速度不会显着提高。

图2用于无人机视频中车辆检测的CNN模型

CNN的训练在18,000个样本上进行，并在2,000个样本上进行了测试。根据经验和测试，RMSprop（均方根传播）[39]被选作优化器是因为它在类似情况下的性能优于传统SGD（随机梯度下降）[40]。优化的批次大小设置为30。本文的CNN车辆分类器在100次训练中对测试数据的分类精度达到99.55％，结果非常好。训练过程中的模型精度曲线如图3所示。


图3 CNN模型在100步训练过程中的准确性曲线（训练和测试）

如前所述，图4的顶部图显示了Haar级联分类器提出的候选窗口。可以看出仍然存在一些假阳性，但是与让强分类器（即我们框架中的CNN）以不同比例滑动整个帧像素相比，Haar级联分类器大大减少了候选窗口的数量。然后，将CNN应用于检查所有候选窗口，并给出最终的车辆检测结果。车辆检测结果的一个示例框架如图4的底图所示。


图4 第一阶段（顶部）和第二阶段（底部）之后的车辆检测结果

第三阶段：基于KLT的运动估计

利用获得的检测结果，阶段3和4定义了交通运动估计和交通流量参数估计的一般过程。KLT方法[32]是一种基于兴趣点的跟踪方法，因此它能够估算在轻交通情况下的背景运动[18]。但是，在车流量较大的情况下，直接应用KLT跟踪器会导致运动估计中出现较大错误。本文高效的Haar + CNN车辆检测流程经过专门设计，可解决此问题。

车辆检测结果将视频帧分为两种类型的区域：车辆（在检测窗口内）和背景（在检测窗口外）。因此，在CNN检测之后，可以将KLT应用于估算车辆运动和背景运动。在图5中，顶部图像示出了在检测窗口内部提取的运动矢量，而底部图像示出了在检测窗口外部的运动矢量。同一类别（检测窗口的内部或外部）中所有运动矢量的平均值分别表示交通运动（添加了自我运动）和背景运动。


图5 使用KLT跟踪器进行交通运动估算

假设和分别表示针对交通量提取的第i个运动矢量和针对背景的第j个运动矢量，则按每帧像素计算的实际交通量如下在等式中（1）。



其中Nt是为流量提取的运动矢量的总数，Nb为其背景总和。

第四阶段：交通流量参数估计

在运输工程中，速度，车辆密度和车辆总数是描述交通流量的最重要的三个参数，它们的关系由等式（2）给出:



其中NOL表示车道数。在第2阶段检测到车辆并在第3阶段估算交通流量后，可以使用参考标记计算车密度和速度。密度定义为每车道每单位高速公路长度（英里，公里等）的车辆计数。速度将从每帧像素转换为每小时英里/公里。参考标记（例如标准校车和车道标记）能够避免复杂的摄像机校准，并且通常足以计算无人机视频中的实际尺寸[27]-[29]。

在起始帧处，我们假设已知对象的实际大小为l1，像素大小为l2，因此转换率r = l1 / l2，路段长度为L个像素。初始像素长度l2和L离线测量。假定帧速率fr在监视期间恒定。通过以上这些定义和计算，可以使用等式（4）-（5）计算速度和密度（车流量）。



其中N是当前帧中检测到的车辆数量，r是上次更新的实际像素转换率。使用等式（2）计算另一个基本交通流量参数，即车流量。

4 实验结果

A.车辆检测器评估

为了分析所提出框架的性能，本文首先测试了车辆检测器的性能，并将其与针对无人机视频数据开发的最新车辆检测器进行了比较[13],[16],[34],[35],[38]。具体来说，测试了Haar级联，CNN，MLP，HOG + SVM，Haar级联+ MLP和Haar级联+ CNN（本文提出的集成分类器），并使用收集的车辆样本进行了比较。

所有检测器均使用相同的训练样本进行了训练（即从UAV视频中收获的18,000个车辆样本），并对其余2,000个样本进行了测试。在2,000个测试样本中，其中814个被标记为阳性样本（车辆）和1,186个阴性样本（背景）。表I给出了详细的检测性能评估结果。精度（即相关实例在所检索实例中所占的比例）和召回率（即已在全部相关实例中所获得的相关实例所占的比例）通常用于检测器性能评估。它们定义如下其中TP代表真阳性，FP代表假阳性，FN代表假阴性。精度和召回率分别在1和0时达到最佳值。

表1 检测器性能评估和比较结果


由结果可知，Haar级联保留了良好的召回率（0.957）和非常快的处理速度（81 fps）。就准确性而言，独立CNN是最好的检测器，仅生成4个FP和1个FN。但是以0.29 fps的处理速度进行计算时非常慢。MLP实现了良好的精度和召回率，即精度为0.845，召回率为0.856。Haar级联+ MLP方法[38]与所提出的集成分类器具有相似的处理逻辑，因此处理速度很快。HOG + SVM是另一种流行的探测器，已应用于不同的任务，由Cao等人进行了研究[13]在基于无人机的车辆检测中。与Haar级联或MLP相比，它们产生的FP少得多，因而获得了很高的精度值。它的处理速度也比CNN或MLP快。但其FN率很高，因此导致召回率低于0.80。本文提出的集成分类器达到了0.995的精度，0.957的查全率和67 fps的处理速度。Haar级联和CNN的结合使我们的探测器性能出色。

B.流量参数估计结果

在实验中，总共测试了大约30分钟的视频剪辑。视频＃1是由无人机在高速公路路段上拍摄的，监视三车道高速公路的交通顺畅。视频2是在交通繁忙的城市动脉上拍摄的另一个视频剪辑。测试视频中存在由无人机自身运动引起的连续背景运动，包括巡航，旋转和振动。图6显示了两个视频剪辑中随机选择的样本帧，其中标记了检测窗口和运动矢量。左侧的三个帧片段来自视频＃1，右侧的三个帧片段属于视频＃2。计算了对应视频中的车辆平均速度，车流量和平均车数，并列在表II中。视频＃1中的平均交通速度为31.5英里/小时，对于中国北京的城市大动脉来说是合理的。平均密度为31.9 pc / mi /车道（每车道每英里客车），平均车数为3010.6 pc/ h（每小时客车）。视频＃2的估计速度远低于视频＃1的速度，并且密度更高。从表II中可以看到，视频＃2的速度仅为1.7 mph，密度为45.5 pc/mi/lane，速度为309.4 pc/h。


图6 视频＃1（左，自由流动）和视频＃2（右，密集流量）中的示例帧显示了检测和运动估计结果

表2 估计的流量参数和性能评估结果


C. 系统性能评估与分析

为了验证交通参数估计的准确性，选择了车速和车数作为度量。图7中的图显示了这两种情况的估计计数，地面真实计数，估计速度和地面真实速度。表II中列出了平均速度，数量和精度。视频＃1的估算准确性非常高，速度和车辆计数估算分别达到97.0％和95.8％。


图7 交通流速度估计和车辆计数估计准确性

虽然本文提出的系统在正常交通流和拥塞交通流方面都实现了良好的交通流估计，但值得一提的有趣事实是，在拥塞情况下，速度估计精度和计数估计精度之间的差异比正常交通流要大（7.3％对1.2％）。这是因为假阳性和假阴性将导致较少的错误，从而在交通拥挤的无人机视频中加快估计速度。具体来说，在交通拥堵的情况下，车辆的速度较低甚至为零。

在本文提出的框架中，错误检测或丢失检测对运动估计的影响较小。由于实时交通信息对于交通控制或路线指引非常重要，因此本文方法的处理速度被视为一项关键的性能衡量指标。

5 结论

在本文中，作者提出了一个新的四阶段框架，该框架可从具有运动背景的无人机视频中提取交通流参数（即速度，车流量和车数）。

在前两个阶段中，分别训练了Haar级联分类器（阶段1）和卷积神经网络（阶段2），并将其组合为用于从俯视图角度进行车辆检测的集成分类器。Haar级联有效地减少了搜索空间，而CNN则作为强分类器将剩余的候选窗口进行了检查。在第三阶段，采用KLT光流方法，根据检测结果提取车辆（内部检测窗口）和视频背景（外部检测窗口）的运动矢量。然后，通过平均车辆运动减去平均背景运动来表示真实交通运动。在第四阶段，开发了一种新算法，通过整合参考标记，高度变化检测和交通流理论来估计交通流参数。

将本文提出的集成分类器与已有的针对基于UAV的车辆检测进行了检查的最新车辆检测器进行了比较，并证明了其高效率和准确性。实验结果表明，所提出的方法在交通畅通和交通拥堵的情况下均具有很好的估计精度和实时处理速度。

除方法部分外，还公开提供了包含20,000个图像样本的训练和测试数据集以进行基准测试。