市级交通运输大数据管理平台系统设计研究——以南宁为例 - 技术应用 - 智慧交通网 ITS114.COM|中国智能交通领先的门户网站
  • 市级交通运输大数据管理平台系统设计研究——以南宁为例

    2018-12-21 09:29:19 来源:its114.com 作者:莫庆球 评论:
    分享到:

    随着社会经济的快速发展和城市规模的不断扩大,机动车拥有量及道路交通流量也在急速增加,交通拥堵、停车困难、环境恶化等问题不断加剧,影响了城市可持续发展和人民生活质量的提高。大数据平台能够将不同类型的交通数据进行有效的整合,挖掘不同数据之间的潜在关联,提供更精准的交通服务,是破解交通领域突出问题的重要工具。因此,在市级交通运输大数据管理平台系统设计过程中,如何建设一个先进、实用、可靠的系统,成为研究的重点难点。本文主要以南宁市为例进行分析研究提出解决思路。

    存在的主要问题及基本现状

    1、存在的主要问题

    目前南宁市交通运输行业各单位的业务系统间缺乏统一的任务与数据管理方式,使得系统的数据存储分散,系统间只能依赖交换程序来完成数据交互。过多的点对点网络连接,增加系统复杂性和网络的不稳定性,造成数据交换困难和响应延迟,各单位重复投资自建平台也导致数据重复存储和不一致的问题更突出。其原因一是由于南宁市交通运输信息化建设起步较早,一些基础设施和硬件设备设施存在不同程度的老化,一些设备性能无法满足要求。二是南宁市交通运输局现有的自建业务系统有16个,对接上级统建系统10多个,多数信息系统在建设时没有统一的规划,开发单位不同、采用技术标准也千差万别,导致南宁交通领域已经建设及正在建设的系统交通基础数据存在数据标准格式不统一、数据粒度粗细不一、数据分类标准不统一等各方面问题。三是由于南宁市交通运输信息化的保障体系建设的缺失,导致了信息化系统无序建设、重复建设、低等级建设和多标准建设等现象的发生。四是南宁市交通运输行业现有信息系统积累了大量的基础数据,但未具备对数据深度挖掘的能力,缺乏大数据分析及数据深度挖掘算法,无法实现从大量的数据中提取有用的信息,进而为宏观决策、服务公众等提供参考,造成了信息资源的浪费。因此,迫切需要提高交通运输数据综合分析能力并提取有用信息辅助决策,这就需要大数据平台的有力协助。

    2、南宁市交通运输信息中心网络现状

    目前南宁市交通运输局构建29条网络链路,包括南宁市交通运输局业务内网平台(172网段)、南宁市交通运输局业务外网平台(192网段)和南宁市交通运输局政务内网平台(20网段),三个网段平台之间互为物理隔离。各网段平台都建设了比较完善的网络、数据设备环境,基本满足南宁市交通运输信息化工作开展的一般要求。此外,各个南宁市交通运输数据分中心也构建了较完善的网络平台系统,包括各自的业务内网平台和业务外网平台,并分别通过运营商专线上联至南宁市交通运输局的相应网段平台(现状见下图1和图2)。

    image.png

    图1   南宁市交通运输信息中心网络现状

    image.png

    图2 城市交通现状 

    行业数据处理需求


    1、数据共享交换需求

    主要以实现南宁市内交通数据的采集、交换、归并与共享等功能为目标。把分散在局内单位、政府单位及企业应用系统里的数据,按需集中到交通数据中心,并对其进行统一的数据处理、信息整合和管理。一方面将业务数据集中管理,另一方面,通过数据进行整合,以满足不同层次的应用系统的需要。

    image.png

    图3 基于大数据的共享平台 

    2、数据处理中心需求

    2.2.1数据处理功能

    交通运输大数据应用的核心体现在数据分析、融合与挖掘方面,即从海量数据中得到有用的信息。可根据各应用系统数据的不同分类和特点,提出相应的数据架构、应用架构、集成架构。

    2.2.2大数据算法库

    对管理部门的支持:通过大数据应用提高管理部门对综合交通运输体系的规划、建设、管理、营运、养护。

    对出行者的支持:通过大数据应用提高出行者的出行服务质量和效率,实现各种运输方式信息系统的互联互通,为公众提供全方位、立体化的出行服务信息。

    对保护环境的支持:通过大数据应用降低交通运输对环境的影响,汇聚交通运输车辆行驶轨迹、道路港口等区域预定信息,分析交通运输工具对环境的影响,有效控制噪声污染,建设绿色低碳交通。

    3、综合决策分析需求

    针对数据处理中心的大数据算法在经过大数据计算以后的结论数据,通过可视化方式展示相关数据,通过综合展示的方式以地图、车辆通过鼠标的点取综合展示,全方位展示各项数据结果,为操作者、使用者提供全方位感官印象,提升数据价值。

    综合决策分析结合南宁市交通运输现有业务需求,通过融合不同平台系统数据、不同部门业务数据,结合大数据算法实现智慧城市交通管理,并将数据按主题、成体系地加以呈现,统计数据既可以加载于综合页面之上,也可单独形成专门的数据统计分析主题页面,展示数据在不同维度下呈现的数据背后的规律,帮助监管人员从不同角度观察、分析数据,归纳整理趋势规律。

    4、公众服务需求

    通过交通运输大数据中心的信息融合,实现对公众的交通信息资源公开。主要涉及综合行政执法、出租车、网约车管理、公交线路及公众出行指南等信息资源公开,公交线网优化、出租车、网约车满意度等信息收集等。通过公众服务平台加强市民互动、政策宣传、信息透明化,利用交通运输大数据更好的为公众提供服务。

    5、业务融合系统需求

    通过建立统一的业务界面,实现交通运输局各业务系统的统一入口和集中管理,实现应用系统集成、单点登录、统一待办、统一服务入口等功能。

    6、节能减排系统分析需求

    根据交通运输部相关工作要求各企业的能源消耗数据填报功能,通过大数据应用生成各企业的能源消耗数据,并进行数据统计分析。

    总体设计思路

    1、系统总体设计架构

    如下图:

    image.png

    图4  系统总体设计架构图

    3.1.1数据源

    数据源分为两部分,分别是交通运输局内部数据及政务数据中心数据,为整个交通运输大数据管理平台提供数据支撑。

    3.1.2交通运输数据共享与交换平台

    提供数据汇聚及数据共享交换功能,提供针对交通运输大数据的内部数据交换、政务数据中心、外部数据的接入等功能,实现交通运输大数据的数据内外互通能力。

    3.1.3交通运输行业标准体系

    交通运输行业标准体系包括:交通运输系统数据字典、交通运输基础数据元体系、交通运输数据交换通用规则、信息发布规范共享指标、质量管控体系等。

    3.1.4交通运输综合数据库

    交通运输综合数据库分为交通运输基础库和专题库。数据在数据着路区加载后,通过数据管理的清洗、转换和建模,将标准化、业务对象转换到对应的基础库、专题库中。

    3.1.5数据标签、算法管理系统

    通过数据标签定义数据与业务的关联关系,根据大数据模型算法构建数据10个数据算法模型,促使交通运输大数据中心往智能化发展。

    3.1.6应用层

    应用层包括交通运输公众服务支撑系统、交通运输业务融合系统、交通综合决策分析系统和节能减排上报及分析四个系统。

    2、逻辑部署架构

    系统逻辑部署架构分为三个层面:物理层、数据层和应用层。系统物理层部署在政务外网云平台上,由政务外网云平台提供计算资源、存储资源和网络资源,并由云平台提供安全防护。

    系统数据层部署基础数据库和专题数据库,并根据这些数据库的数据量情况和负载情况规划历史数据库、查询数据库。部署分布式大数据平台支撑数据中心的大数据计算业务场景。部署日志数据库、目录数据库、元数据库和基础支撑数据库等用以给上层的应用系统提供支撑。

    系统应用层主要由服务层、UI框架层和负载均衡层和交通运输相关系统组成,服务层主要有平台支撑服务、业务服务、分布式缓存服务、消息队列服务等组成。UI框架主要负责提供友好的人机交互界面。负载均衡给系统应用服务群提供统一的入口地址,实现应用的高可用性和横向扩展性。交通运输相关系统包括:交通运输公众服务支撑系统、交通运输业务融合系统、交通综合决策分析系统、节能减排上报及分析系统。如下图所示:

    image.png

    图5  逻辑架构图

    3、系统主要技术路线

    考虑通过基于Dubbo的服务架构、面向SOA架构、J2EE规范、XML技术、WebService技术、基于REST的接口服务、基于JSON的数据表示、基于datax的数据采集及其它大数据技术实现。

    4、标准化体系结构

    根据南宁市交通运输大数据管理平台工程建设与运营特点,需要建设数据标准、应用技术要求、接口标准等相关应用标准,以及应用支撑标准、管理标准、安全标准和网络基础设施标准。

    image.png

    图6 交通运输大数据管理平台标准化体系结构

    3.4.1总体标准

    总体标准是指本信息系统工程总体性、框架性、基础性的标准和规范。如设计标准体系框架、技术架构、标准化设计指南等总体性的、原则性的标准和规范。

    3.4.2应用标准

    应用标准是标准体系建设过程中最主要的模块之一,涉及内容非常广泛。具体包括业务标准、数据标准、信息模型标准与接口标准。

    3.4.3应用支撑标准

    包括为本项目信息系统工程提供支撑和服务的标准,主要有信息交换平台、消息管理、电子记录管理、日志管理和数据库等方面的标准。

    3.4.4安全标准

    系统规划和设计时,应科学制定安全策略,以保证系统安全保护的相关要求。制定安全策略时,需要遵循相关安全标准,包括:安全保护等级相关标准、涉密系统安全相关标准、安全管理相关标准。

    3.4.5管理标准

    为确保系统工程建设质量所需的有关标准,主要有工程验收和工程监理等工程建设管理方面的标准。 

    结论

    本文从业务功能、系统的总体结构、逻辑部署架构、主要技术路线和标准化体系结构多个角度分析和研究大数据管理平台系统建设,大数据对交通行业的效益主要体现在三个方面:一是通过对交通需求的大数据分析达到节约信息化运维成本的目的;二是凭借大数据技术的实时性和可预测性,实现对挖掘交通行业数据,为交通运输部门提供有关城市交通状况等辅助决策信息,提高政府部门决策的科学性;三是基于大数据技术分析、整合交通行业的资源,通过创新、挖掘,实现更多智能化的服务平台应用,提高服务水平,提升效益。平台系统设计具有先进性、实用性和可靠性。 


    • 莫庆球:南宁市交通运输信息中心,高级工程师


  • 关键字: 大数据管理平台
  •    责任编辑:suyanqin
  • 延伸阅读!

  • 每周新闻精选

  • 关于我们
  • 联系我们
  • 广告赞助