甘肃紫光 杨卫国:大数据在智慧高速中的创新应用 - 调查与观点 - 智能交通世界网_智慧交通网 ITS114.COM|中国智能交通领先的门户网站
  • 甘肃紫光 杨卫国:大数据在智慧高速中的创新应用

    2017-11-20 15:39:02 来源:星环科技 评论:
    分享到:

    10月31日,2017星环智慧大数据巡回论坛——郑州站顺利举行。本次巡回论坛,星环科技联合众多合作伙伴、用户展开应用案例分享,让更多行业人士了解大数据在医疗、农业、政府、交通、金融等行业应用中可以达成的效果。

    QQ截图20171120154339.png

    甘肃紫光杨卫国:

    大家好,甘肃紫光智能交通与控制技术有限公司(简称甘肃紫光)于2000年成立,致力于智能交通化建设与高等级公路机电系统开发、建设、经营和维护的专业高科技公司,是国内智能交通控制领域具有一定影响的信息化建设整体解决方案的专业提供商、服务商和系统集成商。在智能交通工程领域创出了属于自己的信誉和品牌。

    受星环的邀请给大家做一个关于交通行业数据挖掘崛起的分享。但是交通这个范围实在太广了,海陆空,这个要说起来可能一天都说不完,我就从中间挑了一个我们最熟悉的——智慧高速。在高速公路这个行业里面,大数据是怎么应用的?

    在这里我引入一个案例,离咱们会场不远就是河南省高速公路联网中心,省级的大数据平台是我们公司在负责,目前处于建设中期,这个项目中间用的就是星环的产品。在建这个省级平台之前,大概一年前,我们在某省也建了一个大数据平台,当时我们还没有和星环握手,是从Hadoop,用Hbase,一层一层自己搭起来的,真是费了九牛二虎之力。今年我们和星环合作,在星环的平台上做,让更专业的人做更专业的事,投入的时间和人力大大减少,能节省原来25%左右的精力,我们就把精力放在做好业务就行了,不用再去想这个平台怎么搭建。因为世界上没有免费的午餐,开源的东西,开源免费了,带来的副作用是什么,你的安装、调试、维护、优化是非常困难的,这也是我们以前的一个体会。

    以下我从三个方面来做今天的这个分享。一是这个行业的背景,二是在高速(交通)行业大数据的应用,第三是趋势展望。

    行业背景

    QQ截图20171120154405.png

    大家都能够感受到这几年城市里面的车辆越来越多了,五年前我们开到一些主干道路的时候,感觉非常流畅。我记得大概是五六年前,我们在西安,大家一说着急,去多少环,现在走三环都堵的要命,高速公路上也是如此。以前咱们在高速公路上走的时候,车和车之间的距离很远,现在上了高速公路,动不动高速公路就成了停车场了。我们要解决这样的问题。这几年大数据、云计算、人工智能、增强现实、虚拟现实各种各样的新技术出来了,这种新技术给传统的行业赋能,会产生一些新的行业。比如大数据和传统行业,它的一个交集会产生一个星环。同样的,大数据加上传统的交通,也会在交通行业带来一些革命性的东西。

    交通这一块我特指的是高速公路的交通,咱们今天在座的肯定都上过高速公路,90%以上的肯定在高速公路上开过车,但是高速公路的信息化到底是怎么样一个程度,你感受到哪些可能也不明白。

    QQ截图20171120154430.png

    我简单结合这个图说一下。首先从地下,最早是高速公路的硬件和基础设施层。在说收费业务的时候,比如,当一辆车一进收费站,地下有一个地感线圈,经过这个地感线圈会切割磁力线,有一个很弱的电流,第一个数据就产生了,会拍一张图片,摄像机是定焦的,就定在地感线圈上。你继续往前走,你要把你收费的卡递进去,它会读卡,又产生了数据。然后读卡之后要产生写卡,又是数据。然后从这个写卡的人要给你算费,你从A点到B点,要收多少钱,又产生数据。比如你从这个点上进了,从这个点上出了,中间经过了三段高速公路,这三段公路分别是三家业主花钱修的,你从这出的100块钱还要拆分给这三家,你都怎么拆的。就光一个收费,一个出口或者入口的动作,最少会产生两张图片,会产生十余条流水数据,同时还会产生车道摄像机和停位摄像机,还有大量的一些视频信息,同时咱们的收费员每按下一个键都有一个记录,你按了什么键,按了抬杆键、放行键、军车键等等,比如后面稽查的时候,图片分析,你明明是一辆普通车,你按了军车键,这就有逃费嫌疑,这都是后面大数据要用的,等等这些数据都会收着。然后还有一些设备产生的数据,一次抬杆,一次打票,通行灯的一次由红变绿,全部都要产生日志信息,统统会进到库里去,这仅仅只是收费信息。其实你上了高速公路之后,这里面还有发布的各种诱导信息,地面底下你看不见的,还有各种各样的线圈,地磁式传感器,旁边的摄像头,都会去拍你。比如你过这个线圈的车辆检测器,要检测路面上的平均速度,平均车间距和平均占有率,后面都会做分析。当你从公路上出来的时候,你不知不觉中已经产生了N多条数据,有结构化,也有非结构化的一些数据。

    这些数据在过去没有大数据平台的时候,分门别类的就上到Oracle、MySQL各种各样的数据库里面,你每分析一次,刚开始往往建成都速度挺快的,越到后面,速度会越来越慢。现在我们把数据抽上来之后,在数据中心分分钟建一个数据中心这一层,基本上都是用大数据建的。这次我们联网中心项目也是星环的大数据中心,事半功倍,目前已经基本上投入试运行。上面的应用开发已经大了中后期。

    大数据平台建设完之后,要有一些支撑平台,支撑平台要有地理信息系统,因为高速公路路面就是一种地理信息,地理信息平台收集回来的数据,通过分门别类的归纳、整理、分析之后,又通过地理信息平台把它黏合到一起,再还原出来,还原出来之后,在上面有一个集成平台,我们会将我们分析挖掘这些系统,刚刚忘了,还有一个很重要的视频信息,结合GIS平台将它分门别类的展示,最终再通过上面的一些终端,监控中心的监控大屏,还有会商室,就是出现重大交通事件的时候,会在会商室里会商,还有普通的监控工作站、移动终端,互联网发送了,它整个就是这样一个完整的过程。

    QQ截图20171120154506.png

    这是高速公路上大数据扮演的一个角色和它的层次位置。然后在高速公路里面主要的数据主要是这么几个构成的,第一个是高速公路的收费数据,主要有收费管理、风险管理、运营优化,还有监控设备,视频监控、运营管理、指挥调度,尤其像视频数据和图象数据,全省以下数万个摄像头,每天产生的数据,那真是海量的数据以TB级的在增长,我估计以后可能会以PB级在增长。交通调度的一些数据,它的基础数据和运营数据,主要是这么几大块的数据构成。

    交通(高速)行业大数据应用

    我先简单说下大数据。在交通领域,河南省联网中心的数据主要包括:第一,客户的数据,在ETC、MTC各种各样产生关系的数据,有一些运营的数据,还有一些稽查数据,逃费、偷费,经过大数据的一些分析,可能会把一些异常行为分析出来,比如说根据一些数据,我就能判断出来你这个车在高速公路上是不是逃过费,你这个收费员是不是做过弊,这个都可以通过后台的稽查分析,还有一些联合指挥,这个比如说路警,路警联合指挥中心,路面的运营中心和交警部门有联合执法的联合指挥中心。

    接下来是紧急资源的一个调度,还有预警,还有资产和预测,资产这一块我说一下,可能很多朋友会觉得这个资产在大数据中心里面能发挥什么作用?这也是我们做的一个亮点,我们把交通行业里所有的硬件设备作为一种路产路权,给它做一个数据平台之后,很快就能分析出来。比如,明年你要拿出多少经费,准备要购买哪些类型的设备,因为这些设备根据它过去的寿命以及它的质保期,明年可能会预测出来大概会有多少坏的,提前去做这一块的储备。比如我要买的时候,品牌要不要换,我们也能分析出来。比如说这个灯泡,你买了A品牌的灯泡,它预计寿命是2000小时,它已经用了3500小时,还有B厂家的,预计是2500小时,现在才用了1000多小时,可能全坏了。这些东西都可以通过大数据平台全部分析出来。还有包括高速公路上的一些预测分析等等,这个主要是几大块的应用领域。

    QQ截图20171120154531.png

    目前我们利用星环的大数据平台,在咱们这边联网中心的系统,大概的一个构成是这样的,首先我们把实时的一些数据,包括高速公路上的一些收费、监控,实时的一些消息数据,你收到的每一笔费,每一个动作,都是实时的要传上去,通过ETL,我们用T+0或者T+1的模式,这个根据具体的应用而言,我们把它传统的业务也把数据整合进来,包括它过去的信息化的一些指挥,还有城市交通,它现在交通厅里面一些外联单位的信息,都可以通过ETL转换进来,然后把非结构或者是半结构化的一些数据,包括监控的一些图像,抓拍的一些信息,收费的一些交易日志和视频等,我们通过flume整个的集成到这里。最后把所有的数据归档成两大类,结构化的数据和非结构化的数据,然后把这个结构化的数据以及非结构化的数据通过分布式各自建模,然后去分析,最后形成一个个专题数据,然后把这个专题数据给其他的应用系统,提供一个支撑。

    应用一:基于Hadoop的高速公路网综合监控

    这是我们现场来的时候拍的一张图片,这是省监控中心从侧面,是6月份拍的一张图,现在省中心把整个大数据平台全部放在这,包括这些视频都可以通过后台,通过大数据分析,比如过去看视频是怎么看的,监控员觉得哪一块是多发事故,我去看,现在通过热点视频,大家都看这个视频,你也得看一下,会自动给他推送一些,当然你也可以不用推送,中间这一块主要是一些具体的数据分析和展示。

    今天我把这块放大了,它主要的构成有这么几块。第一个是全省事故事件有一个排名,非常严重的事件现在有几起,中等的,还有一些轻微的,这样就像一个驾驶舱的概念,作为领导一眼就能知道,因为安全是他们天天关注的头等大事。然后是收费流量的一个排名,收费站现在哪个收费车辆最高,其次是哪个,你都要关注,因为流量特别高的时候,那个地方可能会引起拥堵,要不要加派人手,这些都是他们决策的一个依据。中间这一块是把技术平台,把路网采集的信息进行一个基本的还原,黄颜色这一段表示即将拥堵,已经缓慢行驶,蓝色的就是正常的行驶,红色这一块已经发生故障了,已经拥堵了,还有占道施工的,交通事故等等这些信息,都会实时的反映上去。现在咱们把这个图从后台也会生成一张图,通过微信公众号,也可以发布出去,这样咱们普通的也可以看到这张图,实际的图比这个还复杂,在我展示的时候也是经过稍微的处理。下来是全省天气的情况,有风的一些收费站有多少个,有沙尘暴的有多少个,下雪的有多少个,还有拥堵的排名等等,这边是流量排名,这是拥堵排名。每一个都支持穿透式的,比如我要看一下这个22个收费站是谁,全部就看到了,这个后面我再来展示,这是它整个一个驾驶舱的概念。

    应用二:基于Kafka的高速公路网收费站车流分析

    这是我们对于实时数据(流数据)进行了实时的统计分析。这就是整个流量的分布图,在右下角这一块,这个图里绿色的,就是小于500辆车的,现在这个图是咱们河南省全省的收费站分布情况,绿的就表示它现在通常,红的收费站表示已经发生拥堵了,黄的是即将发生拥堵的,这是总的车流量,也可以分开看,我现在看一下客车的情况,货车的情况,或者是ETC的情况,都可以根据自己的选择去看,这样对于我们决策者,对于全省资源的调度,提供了一个重要的依据。我一看这边是红的,周边的人数还要加派。这是一个迁徙图,这是公路的运营者特别关注的,我现在要知道,我每天的车是从哪到哪去的最多,大概是怎么样的情况,如果我要维护一下,会影响到多少辆车。我们能不能有一些措施,可以让它绕道,这些都可以通过迁徙图看出来,你可以选日、小时,最小是5分钟,看里面迁徙的情况,从哪开到哪个地方去,这边也有一个迁徙的排名,这个后台也都是通过星环的大数据平台不停的实时在分析,把它放到内存里面,瞬间就可以加载出来。还有迁出的一些流量排名,这些都是。这是迁徙图的情况。

    应用三:节假日车流量预警

    根据去年、前年,甚至更早的一些数据,来预测节假日期间各个收费站的情况,谁在平均线上,谁在平均线下。根据预测,我们可以提前做一些处理。甚至根据预测,我们要做到防患未然。比如你预测开封站肯定会发生拥堵,那要不要提前加一些应急车道,去避免这个现象。

    应用四:高速公路收费站负载预警

    这是收费负载的情况,刚才第一张图有点类似,关注的点不一样,每个收费站收费的负荷和排名,现在你要知道,每个收费站的通行量,或者每一段路的通行量在设计阶段是固定的,比如每分钟或者每小时过多少辆,现在有哪些已经超过设计了,这边实际的量,设计是这么多,实际已经到这么多了,这个收费站肯定是超负荷在运行了,决策者就要想,明年我们要不要投点钱,把它收拾一下。

    应用五:高速公路实施数据综合平台

    省中心的平台上可以让省中心、各地的分中心、收费站,根据权限看到各自的信息,省中心的领导更关注今年的任务,现在整体任务完成到什么情况,其中哪一个分中心完成得最好,哪一个完成的情况怎么样,你点击一个中心的时候,有一个中心完成的构成,包括现在已经收了多少钱,其中现金是多少,电子缴费是多少,ETC是多少,MTC是多少,点同比增长,环比增长,也可以看今年和去年的对比情况。

    应用六:高速公路数据综合处理与挖掘系统

    刚才是总中心看到的驾驶舱,分中心看到的就比较具体了,这个是西安分中心,这边收到多少钱,各自的情况,它下面每一个收费站是怎么样的情况,它的通行费、通行量,都可以实时的看到分析的结果。这是收费站的,最末端的一个节点,它的一些信息还有它的一些构成等等。

    这个是ETC的分析,电子不停车收费,这几年ETC发展很快,而且全国已经实现了ETC联网收费,我们从河南上去,然后开车一直通过陕西,再通过甘肃,然后下来,只要你走ETC电子不停车收费,中间不用停车人工取卡。在这个过程中,ETC的使用情况,哪个ETC车道现在是拥堵的,这些都要进行一个分析,实时的要去调整,因为现在ETC车道,从去年看,很多的ETC车道还没有像今年这么饱和,今年ETC的发展量大,ETC车道现在也是挺堵的,都需要关注。ETC有一个应用值得我给大家分享一下,ETC里面大概的原理是这样的,每一个车主有一个车载标签,你可以理解是一张IC卡或者身份证,车主到这个地方的时候,在头顶或者侧方有一个天线,天线会跟这个标签进行一次微波通信,通信完成之后,就是交易完成之后,车就直接走了,在这里面交易的时间非常重要,如果交易一次需要3秒,你的车就不用走ETC,你肯定要在这里等。如果你能够在10毫秒内,100毫秒内,200毫秒内,完成一次交易,这个是至关重要的,而这个天线的生产厂家符合国标的有N多个,生产这个标签的厂家也有N多个,那谁家和谁家配合容易出问题,谁家的产品质量性价比高等等,大数据瞬间就分析出来了,以前领导就想知道这个,因为我今年要采购,我到底买谁家的好,这个就是每一家的标签机,这是谁家的标签机,谁家的天线,成功率是多少,失败率是多少,平均交易时间是多少,全部清晰得很,原来这家和这家的交易是怎么样的,这个得益于大数据平台的一个应用,在之前只能是凭感觉,车开到这里还要踩一下刹车,这一家好像不用踩刹车,直接开过去,刚好,现在都有了数据支撑,这就是数据挖掘这一块的分析。

    这里由于我们大数据平台把很多的数据可以动态的加在内存里面,这就使得数据的钻取成为可能,因为在过去看的时候,比如说你先打开了一张报表,这个报表是省中心的,要看分中心的,还要找另外一张报表,找到这个数据,你想一下别的,再找另一张报表,现在不用了,你现在先打开,以收费的完成情况为例,你看到这个省中心有一个表,有一个完成情况,当你点这个数据,我就要看西安分中心的数据的时候,就会把西安分中心的数据给你钻取到,你直接就可以看,这个数据加载时间可以忽略,因为它的内存已经处理好,后面的大数据不停的在分析,在更新。当我再点里面的几个收费站的时候,它的信息也全部都可以出来。就是说把报表已经做成一种应用了,你看到什么东西,你直接去点就行了,而不用说过去的那种报表,每次输入查明条件,输完了,到数据库中去检索,已经把大数据平台建起来了。

    应用七:跨区域范围路网协同指挥调度

    QQ截图20171120154557.png

    这个是大数据平台,我们现在在一个大范围协同调度平台里的应用,比如在高速公路上发生了一个事件,可以通过摄像机来确认,现在河南省中心也有无人机,可以派无人机到现场看一下具体情况,然后通过无人机采集的视频,我们就可以把它通过调度的应急车,结合无人机一起完成工作,就会在省中心有一个会商室,在会商室里面就会进行所有资源的调度,所有的资源的信息都是汇聚到大数据平台里去,不像过去我想看这个的时候打开一家系统,看另一家的时候又打开另一家的系统,要看视频的时候,又去打开视频系统,现在都不需要,都在一个系统上,这些信息全部通过后台的大数据平台集成到一起。

    还有一些智能辅助决策的系统,刚才讲的是理论,这是系统的一个具体截图,到这个点上发生事故的时候,会根据事故的影响范围,在这个平台上自动圈出来,这是影响到什么东西,摄像机直接就能看到,最近的一个救援车在什么地方,救援车上人的名字叫什么,他的电话是多少,直接点击我就可以获取,跟你说你赶紧去什么地方,在这里会根据你这个事故发生点,把你前后最近的四路摄像机的信息自动推取出来,给它合到一起。

    最后这是一个挂图作战的功能,这也是在会商室里,有点像军事挂图作战,哪一点发生事故的时候,我们根据情况怎么样去协作,这个后台也是有大数据的支撑。

    应用八:设备综合监控

    最后一个,这个是设备综合的监控,刚才我们给大家一直在讲大数据的分析,它分析完之后,最后结合的是GIS平台,GIS平台上结合的只是分析后的结果,但是我想的是现场,比如没有分析和加工之前的实时信息,我也可以通过监控,比如说这个摄像机,你点地图上任何一个摄像机的时候,摄像机就会出来,点车检器的时候,检测器的原始数据就出来了,点原始数据后面有分析,直接就把大数据的数据又带进来了,又进行了一次集成。最终也可以形成多种监控专题图。

    趋势与展望

    QQ截图20171120154621.png

    最后给大家简单分享一下,我们认为在交通领域大数据应用的一个趋势,前面各位专家也都提过了机器学习,让电脑变得更聪明,他自己去完善自己的某些东西,要比我们人为的把某些算法内置到里面,可能会来得更好,这个东西以后会成为一种趋势。物联网数据这一块,因为在交通领域里面,物联网未来肯定会成为一种新的趋势,因为现在高速公路上传出来的信息,都是靠网线把它联到一起,如果不严格地说,把它理解为一个物联网也行,但是现在我们广泛采用了比如说电力载波等等一些新技术之后,让万物互联变得更加容易,一旦万物互联,产生的数据更是海量的,这个时候大数据的平台价值可能会发挥得更加淋漓尽致。

    其他的我就不一一说了,这是跨界这一块,其实不光是交通行业,未来各个行业随着大数据以及现在微服务,面向服务架构的兴起,有可能以后我们虽然是交通行业的,但是我们跟天气预报这个气象行业或者其他行业,都会进行一个深度的融合,会做出更加智慧和聪明的一些决策,参考信息更加丰富了。以天气预报为例,以前没有天气预报,你在做这一块决策的时候,你要去了解,因为附近是下雨下雪,你派过去的设备或者派过去的资源是不一样的。现在我们已经实现了,你要去做救援,可以根据天气直接把救援需要的资源清单直接列出来,还有救援流程也是不一样的,雪地救援、雨里的救援或是晴天的救援,肯定是不一样的,这些都是一些跨界的应用,未来会越来越多。

  • 关键字: 大数据 智慧高速
  •    责任编辑:周垒
  • 关于我们
  • 联系我们
  • 广告赞助