交通大数据，从云端降落“地面”
2015-10-20 17:23:19   来源：www.its114.com   作者:    评论：0

状况及车外道路环境的分析也将很快被实现。

　　道路交通监控可以分为两类--观察型监控和分析型监控。观察型监控只需要监控设备能够观察到特殊状况，比如闯红灯、违停、越线、超速等违章行为，并将该状况发生的时间、地点和电子眼拍下的照片一同传送给监控中心，由交警进行状况的记录和处罚的通知。我国交管部门的观察型监控的使用已经相当成熟，对违章行为的捕捉率非常高，有效地降低了违章率。分析型监控就要复杂许多，常见的任务有套牌车分析、伴随车分析、碰撞车分析、黑名单车辆预警、旅行时间计算、道路流量统计等等。这些任务需要交通卡口不间断地记录所有经过车辆的过车数据，并且对这些数据进行查找、关联、比对等处理。因为记录条数多并且包含图像信息，过车数据的体量非常庞大，对监控系统的存储、查询和计算能力都提出了很高的要求。事实上，由于数据量过大，大多数交管部门采用离线分析进行分析型监控，也就是将一个周期内（比如一天内）全部的过车数据都存储起来后再对整个数据集进行计算。这种处理方式显然延时过高，监控系统在特殊状况发生很久以后才能将结果报告给交警。分析型监控的任务常常具有时效性，比如黑名单车辆通过某个卡口时，需要系统立刻捕捉到这一行为并通知卡口附近的交警前往拦截；再比如道路流量统计的目的是通知交警在某地交通流量过大时前去疏导。离线分析的高延时使得交警无法对这些状况进行及时响应。

　　分析型监控的技术难点在于监控系统需要在不断产生的、海量的、格式多样的过车数据中快速发现问题，最好可以在问题发生时就发出预警。交管部门传统使用的数据库能力有限，无法满足对实时性的需求。所幸，这个难题恰好是大数据技术的强项。大数据技术以其分布式的计算方式尤其擅长对海量数据的快速处理。大数据发展到现在已经有相对成熟的技术来处理以下三种问题：复杂的批量数据处理、基于历史数据的交互式查询和基于实时数据的流处理。其中的流处理，顾名思义，是在数据产生并流入系统时就进行处理并马上得出结果，非常适合分析型监控中过车数据不断产生的场景和对实时性的需求。

　　观澜数据：观澜数据目前的业务主要集中在前两种数据上。第一种数据是位置和轨迹数据，典型场景包括卡口、地磁等，这种数据以结构化数据为主；第二种数据是视频监控数据，典型场景包括卡口、监控等，这种数据以非结构化数据为主，但可以通过一定的技术手段将其转换成结构化数据。针对第一种数据，观澜主要做了三方面的工作：一是利用分布式数据库将海量位置和轨迹数据高效管理起来，能够实现后续用户对数据的迅速检索调取（达到亿条/秒级别）；二是利用并行计算和数据挖掘技术，对历史数据进行建模（比如车辆轨迹预测、交通会话识别等），得到蕴藏于数据之中的规律模式，以指导业务决策；三是利用分布式流数据处理技术，对实时数据进行分析计算，在极短的时间内（一般不超过1秒）得到业务结果（比如黑名单比对、套牌车辆分析、伴随车辆分析等）。针对第二种数据，观澜主要做了两方面的工作：一是从视频数据中提取出与车辆相关的结构化信息，即在云后台实现卡口前端的识别功能；二是从视频中检测出诸如车辆拥堵、违规行驶等异常模式。

　　目前，前两种数据的采集手段发展已经比较成熟，应用也比较广泛，因此也是观澜数据业务比较集中的场景。第三种数据是一种新兴数据，随着技术和业务发展，这种数据的获取方式也会变得越来越简单，观澜数据目前也将尝试相应的业务拓展。

　　博康智能：这三类数据博康都有所涉及，博康智能承建了国内第一个特大城市的交通数据中心，并承建了该市的交通运行协调指挥中心，该中心汇聚了城市交通的各类多源异构海量数据，博康智能一直在从事着各类交通数据的采集、汇聚、处理及活化应用。基于第一种和第三种数据，我们已有成熟的产品和应用，且在不断的完善中；目前我们正着力于第二种基于视频数据的应用研发。

　　智慧交通：就各位公司所接触到的市场开发情况而言，交通口和交管口（交警）的大数据应用处理需求，哪一个更强烈和急迫？

　　观澜数据：就目前而言，交管口的大数据应用处理需求更强烈和急迫。交管口的大数据应用可以提高交通管理的效率，增强交通的安全性、改善环境，通过收集到的信息对交通车辆进行有效的实时疏导、控制与处理等。

　　在需求上，交通口更关注于各种运输方式的交通信息，对采集系统反馈回来的信息进行处理后，适时向交通参与者提供道路交通信息、公共交通信息、换乘信息、交通气象信息、停车场信息及出行者相关的其他信息，出行者根据这些信息确定自己的出行方式和选择路线，这样可以提高人们的出行能力和安全系数。交管口更关注于各卡口反馈的车辆信息，通过对车辆信息的处理及时对拥堵路段进行疏导、对违法车辆进行拦截、对交通事故进行及时处理等。

　　博康智能：随着城市化进程的加快和汽车工业的发展，城市交通存在着越来越严重的拥堵拥挤问题、安全问题、污染和效率等问题，交通口和交管口虽然各司其职，但他们却必须共同面对城市交通的问题，在借助大数据技术解决或缓解城市交通问题方面，他们的需求是一样的强烈和急迫。

　　在需求上，交管口希望能基于大数据技术搭建综合交通监测、指挥和信息服务系统，能实时监测交通流量、警力部署、事故的快速反应，并及时向公众提供交通的诱导信息服务等；而交通口比较普遍的需求是给公众提供一体化的出行服务，尤其是如何利用大数据及移动互联技术，来缓解城市交通的路面拥堵、公交拥挤的问题。

　　Hadoop与数据安全

　　智慧交通：在大数据分析的技术方向上，贵司是否选择的Hadoop软件框架？您认为这种技术方向，在交通大数据领域，有哪些优点和缺点。未来会如何演进。

　　观澜数据：我们以Hadoop框架，列式数据库为基础，用了Hadoop和Storm相结合的模式，面向智能交通，自主研发了集海量数据采集，数据存储，数据分析于一体的大数据处理平台，能够提供比传统智能交通管控解决方案更实时的采集，更稳定的存储，更快速的查询，更精确和实时的分析。

　　Hadoop软件框架作为一个相对通用的平台，在海量数据存储与离线分析方面有着良好的性能和扩展性，注重数据处理的吞吐量，但在实时数据分析方面能力不足。在交通大数据领域，部分业务对数据分析的实时性要求较高，举个例子，在实时查缉布控这个业务中，要求对符合布控条件的实时过往车辆进行秒级报警响应，Hadoop这种离线分析框架显然无法满足实时性要求。未来交通大数据领域的技术框架必然是要求分析的实时性和精确性更高。针对这两个方面，我们公司结合前言的大数据技术，面向智能交通，独立研发出了高可用的实时交通流数据处理平台。

　　星环科技：通过交警对大数据技术的利用，我们看到选择高性能的大数据处理平台可以大大提高交管部门的管理能力和效率。公安部交通管理科学研究所帮助山东交警部署的新缉查系统底层采用了星环科技的分布式大数据处理平台TranswarpDataHub（TDH）。TDH基于Hadoop，对海量数据的存储、查询和分析都很擅长，尤其是平台下的流处理引擎Streaming利用目前大数据处理领域中最快的计算框架Spark，拥有高吞吐、低延时的优点，使交警的缉查布控系统发挥了强大的作用。在交通监控系统中使用大数据技术不仅可以在突发事件中提高交警的响应速度，还可以为政府对道路建设和相关法规进行改进提供依据。例如，道路流量分析可以为公路局指出最需要新增和拓宽道路的地点，交通事故统计可以让交管部门在事故高发路段安装更清晰的警示标志或者重新设置限速等等。

　　博康智能：博康交通大数据平台基于业内普遍推荐使用的HADOOP2.2.X版本，并根据交通业务的需要，集成了诸如STORM（流式处理框架）、SPARK（内存处理框架）、PHOENIX、SOLR等技术。产品经过了海量交通数据的测试（超过500TB的GPS数据、200亿条的卡口视频数据及海量的人脸视频图像识别数据等）；博康大数据平台已经内置了交通行业的数据资源管理平台，并嵌入了一些成熟的模型和应用，包括：城市交通数据采集工具、交通数据资源管理、交通数据质量管理、共享交换平台、城市交通拥堵模型、道路油耗模型，并实现如下应用：卡口电警、浮动车、公交都市、城市交通数据中心/城市交通运行协调中心等。

基于HADOOP框架的大数据技术更适合交通领域多源异构海量的数据处理需求，经过最近几年的发展，其融合的技术不断成熟强大，扩展功能及各种软件包、开发工具等不断完善，性能也得到飞速的提高，应当是未来交通