交通大数据，从云端降落“地面”
2015-10-20 17:23:19   来源：www.its114.com   作者:    评论：0

大数据的方向。博康智能着力打造的是交通行业专用的大数据平台。

　　智慧交通：您认为是否有必要建立一个交通大数据的数据标准，使得形成的数据格式是一种统一、可共享的方式？

　　观澜数据：建立交通大数据的数据标准是非常必要且紧急的，观澜数据有一套自己的格式和标准。目前，由于前端采集的数据来源不同，采集设备的生产厂商不同，使得接入的数据格式多种多样，观澜研发的数据接入平台为不同来源的接入数据提供统一的接口，不同采集设备厂商可根据需要在我们提供的接口中填入相应的字段即可完成数据向数据中心的汇聚。数据格式统一是趋势，但是更大范围（比如全省、全国）内的数据标准制定还是要取决于业务部门的决策支持。

　　博康智能：在长期从事交通大数据中心的建设和运维过程中，博康智能处理过的数据项接近一万，基于此，博康智能一直以多种形式参与国内大数据标准的制定工作，最近无锡所成立的智慧交通管理产业联盟，博康智能是联盟大数据组的组长单位。

　　智慧交通：提到大数据，就会涉及到数据安全，交通领域的大数据安全有哪些特点？如何确保数据安全？

　　星环科技：星环TDH一站式大数据平台通过LDAP管理用户以及用户组账户信息，通过Kerberos进行用户身份认证，同时大数据平台配合LDAP实现基于角色访问权限控制（RoleBasedAccessControl），通过给用户或用户组赋予角色的方式进行用户权限管理。最后所有的安全访问审计都会记录在数据平台的日志中，并在大数据平台中各个组件都支持安全管理。结合权限的管控，通过统一的分布式存储HDFS的文件以及目录权限管控，实现数据隔离；通过统一的计算资源调度管理框架YARN的作业与队列的权限管控，实现计算资源的隔离；通过对于数据仓库Inceptor的数据库、表、视图的权限管控，实现统计分析以及数据挖掘的管控；通过对于实时在线数据库Hyperbase的表、行、列、单元格的权限管控，实现数据检索以及即席查询的管控；通过对于实时数据流的创建、删除、读取以及写入的管控，实现实时流处理业务的数据隔离与管控。同时，将所有组件数据权限访问进行记录，并保证所有记录不能被修改或删除，通过完整的安全日志审计功能保证可追溯。对所有平台操作进行精细化管理，支持所有操作记录流水的记录、存储、查询与统计。

　　大数据平台通过网络安全通信协议（Kerberos）和角色权限管理功能（LDAP），在软件层面提供通信安全和数据安全的双重保障，有效的对来自外部和非信任角色的数据访问进行控制和安全管理，实现数据平台4A级统一安全管理解决方案。4A包括认证Authentication、账号Account、授权Authorization、审计Audit，即将身份认证、授权、审计和账号。通过LDAP管理用户账号，Kerberos作为用户身份认证IdentityStore，同时大数据平台配合LDAP实现角色访问权限控制（RoleBasedAccessControl），最后所有的安全访问审计都会记录在数据平台的日志中。大数据平台中各个组件都支持安全管理。

　　观澜数据：交通领域的大数据安全最为特殊的一点是敏感性：对于营运车辆，其交通数据可能会透漏出盈利模式；对于个人车辆，其交通数据可能会泄漏隐私；对于任务车辆（比如运钞车），其交通数据更是可能会造成任务失败的风险。为确保交通大数据的安全，要从硬件和软件架构的各个层面模块全面进行：硬件及网络方面，需要斟酌设计拓扑结构，使用防火墙和边界技术确保关键位置的安全；软件方面，需要在接入层、基础平台层、应用层、用户层分别应用合理的安全策略，保护数据安全。

　　由于目前交通领域的大数据应用需求方主要是政府公安部门，对数据的安全性要求极高，从数据接入，存储，分析结果展示的各个阶段都要保证数据安全性。一般从两个方面保证数据安全：首先在网络上，利用各地交警内部的视频专网/公安专网来从网络上进行隔离。其次在软件层面上，设置健全的用户权限控制体系来限制各级用户对数据的操作权限，利用数据证书登录等技术保证软件的使用权限。

　　博康智能：公众呼唤交通大服务，而交通大服务则呼唤着交通大数据。智慧交通成功的前提是交通数据的开放，这就涉及数据的安全问题。本人不赞同对交通源数据不加区别的全方位开放，为确保数据资源的安全，我觉得一方面政府要主导制定交通数据的密级、开放的标准及开放等级，且在加工处理后对外开放；另一方面，政府或行业应该对交通数据的发布的结果要有统一的标准算法，避免信息发布出现乱象。

　　政府的双面角色

　　智慧交通：您是否认为，智能交通应用单位，在大数据应用方面，需要更多的知识培训和观念修正？

　　观澜数据：我们认为应用单位在大数据应用方面，需要更多的知识培训和观念修正，现在还有很多同仁没有意识到智能交通的重要性，单纯的认为智能交通只是互联网时代附庸风雅的产物，认为智能交通会随着时间推移很快退出历史舞台，这种观念是不正确的，智能交通系统利用先进的信息技术、数据挖掘技术，将通讯数据、传感数据、控制数据以及设备生成的数据等集合起来，进行更深层次的发掘，通过人、车、路的和谐配合，解决目前普遍存在的交通阻塞问题，提高道路通行效率，降低交通事故发生几率，建立更加准确、高效的综合的运输管理系统。

　　博康智能：经过这么多年大数据技术及应用的洗礼，智能交通的应用单位都能充分认识到交通大数据的理念、价值和在解决交通问题上所能发挥的巨大作用，应该说市场已经完成了对应用单位的知识培训和观念更新。目前的关键是如何推动应用单位开放数据，让数据更好的为民生服务，这需要建立城市层面对交通部门数据开放的考核机制，还需要建立交通数据开放的安全机制、标准规范等。

　　智慧交通：在智能交通领域，政府是否是主要的大数据应用需求方？在需求的变化上，未来还会有哪些机构可能成为交通大数据的需求方？

　　观澜数据：就目前而言，政府是主要的大数据应用需求方，政府掌握着目前最多的交通方面的数据，并且政府部门也是解决目前交通行业问题的领导者。

　　我们认为交通大数据应用于各相关行业的发展会带来的新机遇与挑战，越来越多的机构会成为交通大数据的需求方，譬如公交、航空公司、铁路等部门，交通大数据的共享有利于形成协调运行的交通体系，通过部门间的配合，对各种交通工具统一化管理，交通大数据的共享，有利于交管部门对交通的协调管控，节约居民出行时间，减缓交通压力，方便居民的生活。

　　博康智能：在智慧交通领域，政府、企业、公众既是交通大数据资源的提供方，又是交通大数据应用的需求方。在数据资源方面，政府掌握着城市路网及人车路等的基础数据、城市道路的视频监测数据、交通流量数据等；企业则拥有运营过程中产生的各类数据，如公交、轨道交通、出租车以民航铁路等企业的生产调度数据；而公众则是交通众包数据的提供者。三者数据实现充分的融合汇聚，必然带来监控、生产调度及信息服务水平的飞跃提升，也才能充分发挥大数据应有的价值。当然，现阶段以城市为主体的智慧交通建设还需要政府来启动和推动，前期表现为政府是大数据应用的需求方，但在多年实施过程中我们发现，以政府为主体来汇聚交通信息，进而为公众提供信息服务的模式走的并不顺畅。

　　从去年开始，PPP模式逐渐被业界所接受，社会力量在政府监管下参与城市智慧交通的建设和运营，已经被论证为比较科学的模式，因此未来会发生这样的转换，即类似智慧交通的运营商会是交通大数据的需求方，而政府、企业和公众则是交通大数据的应用方。

　　星环科技：对于智慧交通领域，政府无疑是大数据应用的最大需求方，对于智慧交通数据的合理利用，可以对社会治安、民生民态等各方面都能解决目前无法解决的问题。当然对于社会其他机构而言，交通大数据也意义重大，比如金融保险业、能源机构、医疗业、物流速递行业、互联网行业等，都能从中受益匪浅。

　　智慧交通：理想的交通大数据商业模式应该是怎样的？政府在这其中应该扮演什么角色？

　　观澜数据：交通大数据理想的商业模式是数据运营。

　　政府在其中扮演组织者与协调者的角色，不同的部门数据有机密性，这就需要政府协调各部门的数据，一起整合，实现协同管理，政府需要综合与交通相关的不同部门、不同来源、不同类型的数据库，通过大数据技术，建立综合性的交通信息体系，提升交通数据资源的整体性服务能力，真正发挥智慧交通的优势，为打造智慧城市奠定基础。

博康智能：大数据商业化可以分为两个部分，一是数据本身，另一个是基于这些数据的应用。最理想的商业模式是专业化的公司或机构能通过正常