Hadoop大数据技术助力某省交警实现智慧交通

　　简述

　　某省交警利用Hadoop大数据技术建成的缉查布控系统，实现了智慧交通。

背景

　　道路交通作为“衣食住行”中的“行”和我们的日常生活息息相关。在机动车越来越多的今天，道路交通的犯罪屡见不鲜，犯罪团伙往往利用道路交通监管系统的疏漏钻空子，行违法之事。在我国机动车保有量极大(一个省的机动车数量在千万级别)的大环境下，道路交通不受统一的调度、且行车轨迹复杂，这些原因都使得道路交通难于管理、交通犯罪难以扼制。所以，如何改善交通犯罪频发的现状，正是目前亟待解决的问题。

　　问题思考

　　为了提高管理能力，各地的交管部门纷纷部署了统一的监控系统（下称系统），其中部署了电子眼、传感器、测速器等设备，电子眼采用感应线来感应路面上的汽车传来的压力，通过传感器将信号采集，再与测速器进行对比，从而进行超速监控。通过部署这些设备能够实现对交通情况全天候的监控。

　　用户需求

　　某省交管部门希望建立相较于之前更为全面高效的缉查布控系统，通过利用大数据部署下的监控能够掌握极为庞大的数据量，实时发现问题并快速将其解决，做到实时分析型监控。

　　挑战

　　道路交通监控可以分为两类——观察型监控和分析型监控。

　　观察型监控只需要监控设备就能够观察到特殊状况，比如闯红灯、违停、越线、超速等违章行为，由此记录状况发生时间并直接递交交警处罚。而分析型监控相较于“一根筋”的观察性监控就要多“转个弯”，也就是说在第一时间记录下情况后还需要进行处理和分析才能排查出违章情况。

　　目前，我国交管部门的观察型监控的使用已经相当成熟，对违章行为的捕捉率非常高，有效地降低了违章率。

　　但控制交通犯罪必须要进行实时的数据监测，这里就需要用到分析型监控，而这种类型的监控就要复杂许多，常见的任务有套牌车分析、伴随车分析、碰撞车分析、黑名单车辆预警、旅行时间计算、道路流量统计等等。这些任务需要交通卡口不间断地记录所有经过车辆的过车数据，并且对这些数据进行查找、关联、比对等处理。

　　事实上，由于数据量过大，大多数交管部门采用离线分析进行分析型监控，也就是将一个周期内(比如一天内)全部的过车数据都存储起来后再对整个数据集进行计算。这种处理方式显然延时过高，监控系统在特殊状况发生很久以后才能将结果报告给交警。分析型监控的任务常常具有时效性，比如黑名单车辆通过某个卡口时，需要系统立刻捕捉到这一行为并通知卡口附近的交警前往拦截;再比如道路流量统计的目的是通知交警在某地交通流量过大时前去疏导。离线分析的高延时使得交警无法对这些状况进行及时响应。

　　解决方案

　　日前，该省交警就部署了基于大数据平台的缉查布控系统，利用流处理技术做到了实时的分析型监控。系统工作流程如下：

　　1.摄像头、传感器等设备产生的实时数据通过Kafka分布式消息队列发布给Stream流处理组件，Stream对流入的数据进行分析，捕捉套牌车、伴随车、黑名单车等等信息，分析结果写入Hyperbase实时数据库供查询和告警。

　　2.摄像头、传感器等设备产生的原始数据通过Kafka写入Hyperbase实时数据库供查询。

　　3.利用高速SQL引擎Inceptor对Hyperbase实时数据库中的数据进行区间测速、碰撞车分析等计算，提供给上层应用。

　　实施效果

　　系统通过以上这套完整的软件架构，能够有效地解决以下问题：

　　1.套牌车问题:该省交警缉查布控系统对套牌车的分析根据“同一车辆在较短时间内不可能同时经过两个相距较远的卡口”的原理，将单个时间窗口内在全省产生的过车数据进行比对，在发现套牌车时立刻产生预警信息。信息一经交警确认，交管部门可以立刻通知卡口附近的交警前往拦截。

　　2.伴随车问题：犯罪团伙出动时，往往会驾驶多辆车协同作案。当交管部门确认某些路段会有犯罪团伙经过，对这些路段的伴随车分析可以迅速筛选出犯罪团伙所用车辆并通知公安干警前往拦截。

　　3.旅行时间计算和道路流量统计则可以帮助处理和预防交通堵塞。当系统发现大量车辆的旅行时间突然变长，则说明附近路段发生堵塞，缉查布控系统会立刻发出预警，通知交警前往疏导。

　　4.对各卡口过车数量的计数则可以计算出全省各条道路的实时流量，缉查布控系统会在流量过大时通知交警前往待命，以便在大面积交通瘫痪状况发生后第一时间进行处理。

　　5.区间测速则可以根据一辆车通过两个或以上卡口的时间来计算出车辆在卡口间的速度，捕捉到超速行为。

　　6.碰撞车问题：碰撞车并不是指真正在道路上碰撞的车辆，而是公安部门的一个术语，专指在两组或以上的过车数据中重复出现的车辆。如下图所示：A地在某日凌晨2点、B地在同一日凌晨4点各发生一起盗窃案件，作案手法相同，公安机关认定为同一团伙所为。对A地附近卡口在该日凌晨2点左右和B地附近卡口在凌晨4点左右产生的过车记录进行比对，重复出现的车辆就有犯罪嫌疑，公安部门可以迅速缩小侦察范围。

　　图片为虚构的碰撞车分析

　　该省交警缉查布控系统在部署了大数据平台后，解除了原先使用的数据库在处理如此大量的数据时捉襟见肘的窘境。数据量过大带来的存储、查询和计算方面的一系列问题都得到了解决。

　　通过上述方案，能够实现实时的道路监控系统，同时采用上文提到的分布式大数据处理平台，此平台基于Hadoop，能够有效实现对海量数据的存储、查询和分析，同时还使用计算极快的引擎，因而实现了更佳的测算效果。这样一来，就建立了高度灵敏、快速响应的机制，从而大大提高交管部门的管理能力和效率。

　　实施效果如下所示：

　　1、实现了基础过车结构化数据的永久存储，以及最近24个月的交通违法图像数据，实时对数据检索，并可随时无缝扩容。

　　2、单服务器允许平均每秒250次500KB尺寸图片同步传输，或2000次异步并发存储。

　　3、提升了交通案件侦破能力。机动车违法图像信息在系统的保存周期从3个月延长到24个月，交通警察等部门可根据车辆的颜色、车型、号牌等信息实时查询其历史行为、行车路线和车辆营运公司、驾驶人等关联信息。

　　4、增强了交通警察对机动车辆的监管能力。交警可以不到1秒就从24亿条过车数据中轻松检索被监测机动车的号牌精确查询和行车轨迹。

　　5、便捷地利用了关联车辆的分析数据。针对24亿条实际过车数据进行两卡点、多卡点的伴随车辆和碰撞车辆的复杂分析，查询耗时仅为10秒左右。