大数据落地正当时

　　当前，大数据技术的发展早已不再停留于概念普及和技术热炒阶段，更多的企业用户密切关注其落地问题，尤其是行业用户，他们更期望大数据能够为行业发展带来较大的助推力、创新力，而好消息是这种落地正在进行时。

　　大数据落地需冷静

　　过去的2014年是大数据逐渐沉静下来的一年，大数据正慢慢从由舍恩伯格《大数据时代》一书所引发的大众热潮中平静下来，人们开始更加冷静和理性地来看待和分析大数据，从最初的“概念”和“热炒”逐步走向“落地”。在对待大数据问题上，企业用户显得更加成熟，更快地适应了大数据带来的“新常态”，冷静分析、积极应对。

　　其实，大数据技术最早应用在互联网业务中，互联网的特点赋予了这个新兴技术在处理个人数据方面的优势和长处。互联网企业大胆尝鲜，最早将大数据技术应用于金融市场，开创了新的互联网金融服务模式。

　　而今，大数据热迅速进入各个行业，从处理个人数据到处理企业级数据，企业级大数据应用潜力无限。电信、电力、交通、卫生医疗等领域如果运用大数据同样能带来业务的大提升。

　　例如，通过大数据的精确计算，掌握信号灯的时间长短、车辆转向、设计道路的长短等等，城市交通会更顺畅；将各个省市的城镇医疗系统、新农村合作医疗系统全部整合起来，实现资源共享，就能获得个人健康系统、电子病历数据，然后利用大数据计算出个人患病的可能性和概率，由此衍生出疾病保险等更多险种；通过获取人们的用电行为信息，应用大数据的智能电网就能实现优化电的生产、分配以及消耗，电网安全检测与控制（包括大灾难预警与处理、供电与电力调度决策支持和更准确的用电量预测）、客户用电行为分析与客户细分，电力企业精细化运营管理等多方面，实现更科学的电力需求管理。

　　这些领域，正是当前可见的大数据从个人应用进入企业级应用的例子。然而，大数据在企业级应用的核心不是简单分析出有价值的数据信息，而是多了一个环节，对数据分析后产生的结果，要转换成企业自己的产品和服务。

　　通常认为，大数据进入企业级应用面临三方面的挑战：

　　第一，大多数传统企业应用系统没有大数据的技术支撑能力和所需的各种技术人才，需要将底层技术能力变成企业可以自己控制的应用开发能力；

　　第二，大数据运用之后对企业的决策模式是个挑战，需要转变为根据数据来做决策；

　　第三，企业大数据除了来自企业内部外，外部的大数据也必须集成到大数据中心，这就需要有效整合内外部数据，从原来业务处理模式转换为大数据的处理模式。企业在面临这些挑战时，就需要针对这些问题一一应对解决。

　　大数据给人们的生活、工作和思维带来巨大影响和变化。就科研领域而言，大数据有望改变或重构传统的科学探索和科技创新模式，从而形成某种全新的业态。科研数据是一种重要的科研资源，数据资源、数据能力今后将是一个国家或科研机构核心竞争力的重要组成部分和重要体现，这正逐渐成为共识。

　　新的历史时期，顺应大数据的发展潮流，如何更好地开放数据成为大家讨论的重点。近一两年来，数据立法问题得到越来越多的关注，科学界积极呼吁国家科研主管部门从战略高度，将之作为国家创新驱动发展战略的一部分，尽快制定和实施有关法律法规。

　　众所周知，过去，因条块分隔、局部利益等各种非技术性的壁垒或障碍，以及各种不合理规则、惯例、机制等的限制，使不同领域、不同学科、不同专业的数据开放和共享难以实现。在大数据时代必须通过适当的立法、机制和管理，来解决这些非技术性的壁垒，为实现科研大数据的增值扫清障碍。

　　当然，在数据开放和共享的过程中，必须充分考虑到知识产权、数据安全等问题，为大数据的发展和应用创造良好的学术、法律和社会环境。

　　IT厂商出招显身手

　　“今天的环境，随着在中国的客户需要创新的速度发生很大改变，我们的战略发生了很大改变。从为中国制造，‘Made for china’变成了‘Made with China’与中国一起创新。这不是口号，去年开始IBM大幅度开放自己的技术，使得跟中国的产业结合起来，使得在中国的IT产业获得更高的附加价值。”IBM大中华区首席执行总裁钱大群说道。

　　2014年是IBM大举向大数据、云计算、移动社交转型的一年。IBM与Twitter、腾讯，等新兴创新企业开展合作。在中国，IBM以全新的开放联合创新的姿态面对新环境。在大数据领域，先后与宝信科技、华胜天成、浪潮、用友、数慧科技、南大通用、正通汇智等本土合作伙伴展开合作，并拥有了包括鲁能集团、万得数据、上海虹桥机场、乐友孕婴童、飞鹤乳业、驴妈妈、民生银行、深圳儿童医院等各行业大数据客户。IBM还推出了U100计划，向100所中国高校捐赠价值1亿美元的大数据及分析软件。

　　去年，IBM启动科技合作伙伴计划以来，以技术共享、联合创新中心等多种合作模式，利用IBM的全球化视野、专业研发人才、行业洞察等，帮助本土合作伙伴突破创新束缚，以协作创新赋能行业创新。尤其在环保、交通、城镇化等民生领域，取得了卓越成就。

　　交通是城市发展的命脉，在各地智慧城市建设过程中，智慧交通都处于非常重要的位置。管好交通，需要同时管好车和路。利用车联网技术打通车辆制造、销售、服务、管理每个单元，达到对车辆的有效管理；通过智能交通技术，特别是大数据与分析优化来管理套牌车辆监察、疏通拥堵，提升车辆通行效率，这些是我们共同关心的话题。

　　车联网和智能交通都呈现数据量巨大尤其是非结构化数据大且数据分布广的特点,传统解决方案对诸如地理位置数据、图像数据都无法有效快速的支持。宝信与IBM正在合力应对这些交通发展难题，打造智能交通与优化的车联网方案。

　　甲骨文公司也不示弱，近日宣布推出新的大数据解决方案，它使信息访问和发掘更加简化，让客户能够快速地把数据转变成业务价值。新的解决方案包括Oracle Big Data Discovery、Oracle GoldenGate for Big Data、Oracle Big Data SQL 1.1和Oracle NoSQL Database 3.2.5。这些新产品进一步提升了企业大数据愿景，真正将Hadoop、NoSQL和SQL技术协同起来，无论在公有云、私有云还是内部部署的基础设施模式下，都能实现安全部署。

　　从大数据中获取价值的关键在于选取合适的工具来迁移和存储数据，进而有效地获取新的洞察。为了将洞察转化为可执行的操作，新的数据必须与现有数据、基础设施、应用和流程进行安全集成。

　　Oracle提供的解决方案可无缝地协同工作，帮助企业以更快的速度、更低的成本和风险开发大数据。这些解决方案让客户安全地访问Hadoop、NoSQL和关系型数据库，同时轻松、经济地对大量不同的数据集进行分析。

　　IDC业务分析研究副总裁Dan Vesset表示：“单一的技术类型再也无法满足各种类型的分析应用场景。同时，针对一系列不相关项目的数据管理和分析将导致企业IT陷入不可控制的困境并面临不必要的风险。根据IDC的预测，到2017年，统一的数据平台架构将成为企业大数据和分析战略的基础，这种统一化的趋势将出现在信息管理、分析和搜索技术多个层面。”

　　甲骨文公司大数据副总裁Neil Mendelson表示：“数据是一种新型的资产，企业必须对它们的数据资本进行战略性的投资。Oracle为客户提供了集成化的平台，以帮助简化所有的数据访问，发现新的洞察，实时预测结果，并确保数据的有效管理和安全性。”

　　新的Oracle大数据解决方案可无缝运行在近期发布的Oracle大数据机X5(Oracle Big Data Appliance X5)和Oracle Exadata数据库云服务器X5(Oracle Exadata Database Machine X5)上。这些解决方案结合在一起，可为企业提供全面且经济的平台，以便于访问、发现、管理和确保大数据的实现。

　　最新发布的大数据创新成果具体包括：

　　Oracle Big Data Discovery是“可视化的Hadoop”，也是面向大数据洞察的，集发现、探索、转变、挖掘和分享为一体的端到端产品。大数据资产将被企业内更多的业务分析师利用，帮助减少风险并加速大数据项目的价值转化。

　　像在线购物一样寻找和探索大数据：Oracle Big Data Discovery提供了令人瞩目的视觉界面，以帮助在Hadoop中发现和探索原始数据。它类似于便笺本一样，可揭示数据属性与数据组合之间的统计相关性，进而评估该数据是否具有潜力以及是否值得进一步研究。通过常见的导航栏及强大的搜索功能，用户可轻松浏览交互性的可视化数据目录。

　　大规模转化并丰富数据：使用Hadoop的原始数据进行分析之前需要一系列的准备工作。Oracle Big Data Discovery通过一个直观的类似电子表格的方式，缩短了冗长的准备周期，同时简化了数据矛盾。用户无需更换工具或者书写编码，即可增强数据可视化，从而将更多的时间投入在数据分析上。

　　挖掘和分享以发现新价值:数据的挖掘和分析与数据准备需要用不同的工具。Oracle Big Data Discovery让用户能够无缝地从数据准备迁移到数据分析，只需一次点击即可分享数据洞察。用户利用数据结果加强合作，将原数据集传回Hadoop，还可在如Pig、Hive和 Python等其他工具中进一步使用数据结果。

　　将大数据访问权限开放给更多职能团队：大数据通常只掌握在一小部分数据科学家手中，而这一群体掌握着丰富的技术能力、人才稀缺且人力成本高。Oracle Big Data Discovery使得大数据的管理更加简单，并可让包括分析团队和业务用户在内的更多人员轻松访问。它还集成了现有的大数据工具，让企业能够轻松地扩展其大数据团队，并从其投入的人力资本和数据资产中获得最大价值。

　　大数据应用“接地气”

　　国际经验表明，公共安全问题大概是在人均GDP3000~5000美元开始发生的，也就是说一个发展中国家人均GDP达到3000~5000美元进入到城市公共安全事件高发期。所以中国在2014年GDP已经达到7000多美元。国际上公认，随着经济发展反而进入了一个群体事件、公众事件、自然灾害的敏感高发期。

　　北京正通汇智科技有限公司郭常杰介绍，过去五年，中国年均因为城市公共安全、自然灾害等事件产生损失大概是9000亿元，达到中国GDP的3.5%左右。

　　这个比例和发达国家相比是它们的2倍到3倍。还有一个数字更加触目惊心，每年因为公共安全事件导致死亡人数接近20万人。这里面主要是自然灾害、事故灾难，尤其是安全生产相关事故、公共卫生灾害，传染病或者突发性疾病、社会安全等等。

　　看到这些数字和这些情况大家就知道，中国城市的公共安全发展面临的形势是非常严峻的。对于做信息化的人，城市的公共安全和社会的公共安全和应急，不是靠信息化技术能够解决的，更多是靠国家体制和管理理念。

　　但信息化技术能够带来什么呢？首先是物联网、海量数据处理、智能分析优化、移动互联网、云计算，这些技术能够帮助我们的城市安全和应急管理变得更加有效率，变得更加智慧，变得更加能够帮助政府完成它自己的使命。那么什么叫“智慧的城市安全”或者什么叫“智慧城市的应急”？

　　郭常杰是从两个维度中考虑的：一个维度是从真正提升政府面对公共突发事件的应急和处置能力的效率来讲这一点包括三条：第一，需要有实时监测预警能力防患未然，能够预测减少事故发生的可能性。

　　举个例子，中国每个城市每个省的办公厅下都有应急办，应急办做的事情是“平战”结合，平时准备好物资，隐患排查，出了问题之后，做各种应急指挥、调度、人员疏散等等。公共的突发事件，可能有70%、80%的事件，除了自然灾害的事件，事实上如果能提前预测并且提前发现问题，然后去解决，把它消灭在萌芽中的话，就不用等事件发生造成伤害，并且手忙脚乱。

　　怎么实现这一点呢？郭常杰做了一个总结：

　　第一个是海量信息采集，所谓采集就是要感知到无论是管的人还是城市的组件，要有新方法采集数据并且实时监控，更多采用物联网、传感器、移动互联网技术。

　　第二个是实时监测预警。数据采集到之后，要有能力进行分析、挖掘，产生很多相关的模型。

　　第三个是出现事故后也有相关的后果分析模型。这两个更加依赖于大数据和相关分析能力。

　　从处理一个事件数据角度来看大概是这样的流程，首先选择监测什么样的数据源，这个数据源是广义的，包含了在化工厂的罐子，包括煤矿，包括人，而且还包括从很多系统里整合进来的数据。首先要确定数据源，数据来了之后要定义最关心的事件，从纷繁的数据终抽取最关键的数据指标。

　　通过数据预测或者后果分析模型得出Insight或者洞察力，通过展示的能力给领导、决策人员、执行人员来辅助，帮助他在事后做后果评估分析。这个流程中很多是传统的系统整合、集成、业务流程的编制，其中称得上是“智慧”或者“大脑”的是针对不同行业不同场景下的监测预警和后果分析模型，放在不同的行业这些模型变化很大，但是思维和理念一样。

　　举例来看，北京地铁大概有300多个站，现在北京市30个换乘站或者人流特别大的站，在前端的站台的出入口装上激光扫描还有摄像头数人头，然后能够判断这30个站每天任何一个时间点进出站数 和客流数。通过站、线，整个地铁网络送到北京市交通委，北京市交通委拿到这30个站的信息马上能够预测出全网这30多个站每一条线单向双向或者换乘的各种情况。这是通过数学模型的判断。

　　同时可以预测出短程、长程，短程是15分钟时间里，哪些站更拥挤，哪些站人更少一些，通过这个做区间车的调度、应急的疏散等等。这是国内通过大数据分析做的一些事情。

　　例如，北京市安监局，把北京的4个煤矿、6个地面矿山、1000多个加油站、60多家央企（化工和工业企业）放在一起，实时装了3万多个传感器，对这6000多个危险源做实时监控、做数据分析。

　　最典型的例子是，地面矿山都有洗矿用的大坝，因此溃坝的预防就非常重要，一旦溃坝下游被淹没，就会造成很多的损失，甚至给人员生命造成威胁。但是，IBM能够通过地质安全和实时互联网上的各种传感器可以评估出风险级别，产生各种预警，可以做到事先处理。

　　未来方向需把握

　　互联网新概念层出不穷，在云计算，物联网火热之后，工业4.0在2014年受到越来越多的关注，并持续火热。

　　同时，在工业4.0时代，制造企业的数据将会呈现爆炸式增长态势。随着信息物理系统(CPS)的推广、智能装备和终端的普及以及各种各样传感器的使用，会带来无所不在的感知和无所不在的连接，所有的生产装备、感知设备、联网终端，包括生产者本身都在源源不断地产生数据，这些数据将会渗透到企业运营、价值链乃至产品的整个生命周期，是工业4.0和制造革命的基石。

　　那么如何来处理或者正确对待工业4.0带来的数据问题呢？

　　严格来说，按照大数据定义为“每天产生的数据量达到1T”来看，企业管理信息网中(ERP/PDM/CRM/HR等)的数据都不算大数据，所以很多制造企业都感觉大数据分析不够接地气，但是通过传感器随时随地采集到的生产设备的运行数据、产品运行过程中产生的数据(如车联网收集到的车辆运行数据)可以称得上大数据，有了这些大数据，我们需要的就是建模、分析加以利用。这样大数据分析就能够很好地帮助企业、提升企业。

　　总体来说，目前工业4.0关注的企业数据分为四类：

　　1.产品相关的数据，俗称企业主数据;

　　2.运营数据，一般称为交易数据

　　3.整个价值链上的数据，如供应商、分销商、客户等数据，也是属于企业主数据管理的范畴;

　　4.对企业经营分析有价值的外部数据。

　　产品数据，包括设计、建模、工艺、加工、测试、维护、产品结构、零部件配置关系、变更记录等数据。产品的各种数据被记录、传输、处理和加工，使得产品全生命周期管理成为可能，也为满足个性化的产品需求提供了条件。

　　运营数据，运营包括组织结构、业务管理、生产设备、市场营销、质量控制、生产、采购、库存、目标计划、电子商务等数据。工业生产过程的无所不在的传感、连接，带来了无所不在的数据，这些数据会创新企业的研发、生产、运营、营销和管理方式。

　　价值链数据，包括客户、供应商、合作伙伴等数据。企业在当前全球化的经济环境中参与竞争，需要全面地了解技术开发、生产作业、采购销售、服务、内外部后勤等环节的竞争力要素。大数据技术的发展和应用，使得价值链上各环节数据和信息能够被深入分析和挖掘，为企业管理者和参与者提供看待价值链的全新视角，使得企业有机会把价值链上更多的环节转化为企业的战略优势。例如，汽车公司大数据提前预测到哪些人会购买特定型号的汽车，从而实现目标客户的响应率提高了15%至20%，客户忠诚度提高7%。

　　外部数据，包括经济运行、行业、市场、竞争对手等数据。为了应对外部环境变化所带来的风险，企业必须充分掌握外部环境的发展现状以增强自身的应变能力。大数据分析技术在宏观经济分析、行业市场调研中得到了越来越广泛的应用，已经成为企业提升管理决策和市场应变能力的重要手段。

　　中国是全世界工业门类最齐全的国家，跨行业整合创新的空间极其巨大。在这方面，大数据是一个催化剂。IBM有一个汽车行业的客户，通过装在汽车上的物联网，收集驾驶者的驾车习惯，不但能够改进其产品设计，更能跨行业与保险公司合作，推出更有针对性的汽车险种，从而实现了多赢。

　　大数据能够帮助企业了解消费者偏好，从而进行有针对性的产品创新和业务模式创新。如果每一个数据都只是孤立的，只能在和他直接关联的领域发挥自身价值，那这并不能说是一个数据革命的时代，我们要找到实现数据之间一加一远大于二的价值，其间最关键的问题就是发挥数据的外部性。中国有世界上最大、增长最快的消费市场，所以中国的企业有一个巨大的优势，就是贴近消费市场，有机会更早、更快、更准地推出市场需要的产品和服务。但是这个优势必须通过大数据分析才能够发挥来。