杨东援教授大数据系列:大数据平台,多方参与的成长过程 - 调查与观点 - 智慧交通网 ITS114.COM|中国智能交通领先的门户网站
  • 杨东援教授大数据系列:大数据平台,多方参与的成长过程

    2016-04-11 16:24:04 来源:www.its114.com 评论:
    分享到:

      伴随大数据技术概念渗透进各个行业,各种有关大数据平台的搭建构想大量出现,交通领域也不例外。"顶层设计"、"总体规划"等各种解决方案纷纷出台。

      不过,如果希望交通大数据分析平台采用一般信息系统方法,由系统开发人员深入调研应用需求,统一规划、统一设计却是不合实际的。必须承认对于交通大数据分析平台建设,需要有一个逐步积累经验、不断加以完善的过程。更为重要的这并非是信息技术人员能够单独完成的任务,而是交通工程师、交通规划师,以及管理人员共同参与的逐步完善过程。

      到目前为止,交通大数据分析仍然是一个缺乏经验积累的领域。这种经验缺乏主要是由于打开了一扇新视野的大门,长期困扰交通工程师的难以多角度、连续和多层次观察研究对象的技术束缚突然被破除,造成交通工程师在新技术优势面前反而无所适从,领域的基础分析方法有待调整和变革。正因为如此,交通大数据平台所搭建并非是简单的信息系统,其过程既是构建一个逐步成长的应用系统,也是提供一个设计者积累经验的实验室。

      为实现这种目标,交通大数据平台的渐进式推进表现为:构建标准化部件,问题导向摸索分析经验,以及提炼标准化加工方法形成稳定结构,这样一种依托总体架构分布式展开的进化过程。在图1中显示了交通大数据平台的总体架构,其具体搭建可以考虑分解为以下几个方面展开:

      (1)建立相对稳定的基础信息数据库;

      (2)适应需求发展的应用系统开发

      (3)逐步提炼中间件,渐进式地完善底层数据库与上层应用系统之间的连接、组合关系。

      图1 交通大数据分析平台的基本架构

      基础数据库以数据源为单元加以组织,其任务并非简单的数据管理,而是把原始数据组织成为交通工程师能够理解和应用的数据逻辑结构,以及定义在其上的基本操作。需要强调数据仓库构建要以交通工程师能够有效使用为目标,而不是局限于程序员能够在其上构建系统大厦,这体现了大数据平台进化过程中的实验室职能。由于交通大数据分析方法隐藏于问题之后,只有交通工程师能够自行使用基础数据库所提供的各种基本操作工具尝试各种分析,才能够尽快积累经验固化系统对数据加工的方案。

      位于上层的应用系统是一个逐步固化的探索过程,交通大数据分析并非简单的技术过程,也是一个管理和决策的变革过程。在这个过程中组织的任务、工作流程、决策方法也会发生一系列变化。两者之间有一个互动演化的过程。为了尽可能避免后期对软件整个推翻重来,应用系统需要采用平台规定的部件--基础数据库,而不是自行其是。

      当形成一定积累,通过提炼承载各种数据加工方法的中间件,适当调整上下两层的关系和接口,完成整个平台系统的重构,并适应不断发展变化的需求。

      交通大数据分析平台建设,必须充分考虑到交通大数据分析的技术进步特点,创造一个让信息技术人员和交通工程师共同参与,逐步交流融合的技术环境。而这也成为交通大数据分析平台系统设计的特点。

  • 关键字: 大数据 杨东援
  •    责任编辑:its114
  • 每周新闻精选

  • 关于我们
  • 联系我们
  • 广告赞助