高新兴科技：从“云防”到“云行”，智能视频的未来一定是全息化、AR化

作为国内首家以物联网概念登陆创业板的上市企业，高新兴集团有着20年物联网技术与经验，高新兴的智慧交通业务覆盖城市交通管理、城市交通运输、公众出行服务、企业服务、轨道交通安全五大领域，逐渐实现车、路、人全覆盖的大交通物联网布局。智慧交通解决方案已在上海、重庆、天津以及广东清远等成功落地，并中标辽宁海城、贵州纳雍、湖南岳阳等多个亿级智能交通项目。

更为重要的是，高新兴集团不仅仅在集成项目上拥有强大的获取项目的能力，在技术、解决方案的研发上，同样有着引领行业的实力，其中最为典型的就是“立体防控云防系统”，以及由此衍生的“交通监测云行系统”。众所周知，将AR技术应用于安防领域就是高新兴首创，早在2014年发布首款AR摄像机，2016年发布立体防控云防系统，引起行业轰动，并在近几年得到公安、交通行业用户广泛关注和青睐，并在诸多城市开始落地。

此次采访，ITS114重点了解了AR立体防控云防系统的发展历程，不同版本迭代背后的技术思路，交通监测云行系统的应用场景等，高新兴集团智慧城市公司副总经理陈刚对此侃侃而谈，如数家珍，对智能视频、AR技术的发展、AR在交通领域的应用发展等，都能感觉高新兴集团以及陈刚在此领域的心血投入。

高新兴集团智慧城市公司副总经理陈刚

智能视频分析技术发展到现在，正如陈刚在采访时所表述的那样，视频监控技术的智能化、高清化、网络化已经成熟，为安防、交通、人工智能应用等提供成熟的产品和技术，但技术是不断发展的，下一阶段的智能视频技术一定将会和其他技术相结合，在安防、交通领域，一定会和AR相结合，提供更全面、直观的视频场景应用。

也希望本文能对您理解AR技术在安防、交通领域的功能应用，以及如何应用，会有一些帮助。

   访谈实录如下：

解决最后“一公里”的问题

ITS114:高新兴AR云防、云行系统的技术核心是什么？

陈刚：核心技术包括两部分。一是前端产品。

摄像机采集视频以后进行编码，在这个过程中有一个核心技术，把虚拟信息叠加在真实的场景画面里，在码流级别来实现融合。在前端产品，我们有研发了一些专利技术，如标签在坐标中的转换。从1.0版本到4.0版本，很多改进都和前端的视频编解码技术有关。无论是最初人工给视频图像标记动静态标签，还是移动云台、无人机所采集到的视频，都涉及到坐标转换，把传统摄像机（非AR）采集到的视频AR化，都与前端产品的视频编码技术有关系，也都是高新兴的专利技术。

这些技术解决了什么问题？第一，可穿透安全边界，解决了要适应公安网络双网、三网的环境问题，公安信息系统是多级多域的，从县到市到省级，要实现多级转发。所以，要从最开始的信息编码，就把问题解决，即便是多级转发，也不能有问题，这是高新兴的突出优势。而友商的同类产品暂时还穿透不了安全边界，或者只能在自己的视频联网平台转发。

其次，视频图像中的坐标转换问题，比如车载监控、执法记录仪以及其他移动的监控摄像所采集到的视频，要持续跟踪标记视频图像中的GPS位置信息。此外，摄像机是在移动中运行，相当于坐标系的原点在不断移动，所以AR化的视频图像也要和真实世界的目标对象实时进行坐标转换，在画面里能够得到精确定位。5.0版本为什么能跟三维GIS很好地融合，因为两个世界的坐标系是一致的，GIS是三维坐标系，AR化视频图像也是三维坐标系，都能进行很好的转化，而且标记精度特别高。

总结一下，前端的核心技术有两个方面，一是编码信息融合，二是快速精确实现坐标转换，保证标签的精度，无论是固定还是移动设备所采集到的图像，都能够跟随，都能保持精度。

第二个核心技术在后端。

AR指挥系统后端平台能解决什么问题？首先是赋能，平台有一个我们称之为VGIS的引擎或者叫中台、中间件，第三方应用开发者可以通过VGIS引擎开发接口，再加上我们的AR前端产品，就可以很快推出自己的AR行业应用。举个例子， “交通监测云行系统”就是基于VGIS引擎开发的系统，“交通监测云行系统”与最早的立体防控云防系统，是两个完全不同的产品，受众以及目标用户都不一样，对接的数据设备系统也不一样，从业务应用上看，交通特勤警卫、信号控制等很多原来没有的功能，都是在VGIS引擎上重新开发的面向交警的系统。另外，我们现在还基于社区网格化管理，根据业务特点开发出服务于雪亮工程综治应用的云防系统。VGIS引擎是灵活开放的，是核心技术之一。

高新兴有基础性的平台，有二次开发接口，有核心渲染的引擎，包括如何生成标签，根据需求在客户端上面能够呈现多种效果。上午演讲中我们展示了不同标签的形态，标签展现的方式有直接标记也有弹窗，也可以将大数据分析、AI结合在一起，都是用VGIS引擎在视频图像上加以信息展示。因为前端只解决了坐标和信息点的问题，但要把信息更丰富的呈现给用户，就需要VGIS引擎进行加工。我们可以根据需求去开发应用，目前高新兴已有400多个项目案例，20多种应用场景，包括园区、景区、公安、交通枢纽、学校等，就是基于VGIS引擎，可以很快把不同应用场景的需求建立起来，落实下去。

ITS114:如果要实施AR云防、云行系统，对前端设备、机房或者云平台有什么样的前置要求？

陈刚：有一定要求，但也不高。前端部分，第四代AR指挥平台推出之前会要求前端使用我们提供的AR摄像机，因为视频信息都是从摄像机采集而来。升级到4.0以后，高新兴自己开发了AR网关，通过AR网关，把传统摄像机所采集的视频码流也可以进行AR转化，且对传统摄像机基本上没要求，只要满足国标GB/T28181(即《安全防范视频监控联网系统信息传输、交换、控制技术要求》)把视频传过来，网关就能在后台对回传过来的视频流进行转化。枪机是最简单的，球机需要提供云台的一些参数。

AR网关是很重要的一个设备，通过AR网关可以把一些非AR摄像机转变成AR化摄像机，类似华为软件定义摄像机首创的1拖N应用，可以让周边联网的非智能摄像机拥有智能分析能力，非AR摄像机经过网关以后也可以变成AR摄像机。有了AR网关，AR云防、云行系统系统的应用准入门槛得到降低，这是一种普惠措施。

后端部分没有什么特别要求，后端采用性能足够的独立服务器就能部署其应用平台。当然现在也能支持云化平台，比如在云平台的虚拟主机上部署”交通监测云行系统”平台。

ITS114:对算力有没有要求？

陈刚：其实现在服务器性能基本都能满足算力要求，只是看接入多少路（视频）的问题。

ITS114:现在一般是应用在什么样的场景？

陈刚：对平台来说，视频设备最高点就是高空摄像机，主要用于直接监测管理，但高点摄像机数量一般都不多，低点摄像机通常是从原有已建的各个视频平台接进来的，接入的成本已经被原来接入的视频平台承担，所以这方面的成本不会很大。对客户端可能会有一定的要求，尤其到4K高清的级别，VGIS引擎需要渲染性能保障，比如要让一个实景地图能够同时开很多个的标签窗口，开设多个低点的画面，实现高低联动或者多机协同，对GPU和内存有要求。

ITS114:可以在警务通上面展示吗？

陈刚：只要是安卓智能手机都可以接入，也有APP客户端。实际上，现在的门槛大大降低了，就是希望用户能够把AR化管控变成常态。视频监控技术进入到一个全新的全息化阶段，上一阶段的高清化、智能化、网络化都已经成熟且普遍使用了，现在正在进入一个新的阶段——全息化。全息化能够把原来的一些智能、非智能的应用，甚至把一些第三方系统的信息，反哺给视频监控。视频智能化是在视频图像里把结构化信息或者特征信息提取出来，把复杂的东西提取出关键特征，而AR是反过来，把视频图像里看不到的信息加上去，肉眼无法在画面里直接看到的信息，通过AR处理就能直接看到。

比如这个门（采访现场）通过AR化处理，我们除了知道门的外形、尺寸，还可以知道门是哪家厂商生产的，安装了多久，维护联系人是谁，维护电话是什么等等背后的信息。高新兴想借此机会让更多用户接受AR能力成为视频监控的标配，未来的视频监控一定是AR化的。我们可以把人工智能、大数据的能力，还有很多通信甚至5G、边缘计算等能力，结合起来，呈现给用户，解决交互层面的问题，让用户能够获得更多信息。人工智能也好，云计算也好，还是智能网联的信息也好，最终对这些信息的获取还是要靠人的感知。高新兴就解决最后“一公里”的问题，眼睛是人类获取信息的重要器官，重点是要看得到，数据不能总放在数据库里，最终信息的传递要做到可视化。

让更多用户以较低门槛体验AR监测的智慧平台

ITS114:从1.0到5.0的演化路径、背后的技术思路是？

陈刚：1.0版本解决了最基本的问题，一是怎么给视频打上虚拟标签，怎么把标签叠加在采集到的视频图像上，以及在球机采集到的视频画面里标签的跟随，标签的精度要准确，标签的基本管理，分级分层等等。二是码流的穿透、级联问题，可实现多级转发。

1.5版本实现标签的统一化。1.0版本的AR摄像机采集视频画面由人工标记坐标，如果摄像机坏了或者换了新的摄像机，需要重新再打一次标签。而真实世界的物理坐标系是唯一的，一个房子只需打一次标签，所有的AR摄像机只要采集到这个房子的图像，就会看到唯一的标签，1.5版本把标签进行统一化，然后共享标签，覆盖一个区域的所有AR摄像机，采用同一套标签，更符合对真实世界的数字映射。

其次，1.5版本还解决了餐馆、游乐场、旅店等在GIS地图数据中现成的POI信息导入问题。这些POI信息从GIS地图导入进来后，在摄像机采集的画面里会自动出现标签，解决了标签生成的工作量问题。此前标记标签要靠人工，新疆某项目要求一个画面支持256个标签，所有的民房、餐馆都要一个一个打标签，因为所有的房屋都可能有恐怖分子藏匿，所以要求每个房间都要标注显示，标签特别密集。人工标记标签是很大的工作量，所以就导入GIS地图的POI信息，自动生成标签。还可以根据距离设定边界，500米或1000米以内的所有标签，比如以无人机为中心，方圆一公里的标签都会自动出现，设定一个边界，超过一公里的就不必出现。

第三，解决了多机协同问题。多机协同就是把全景摄像机与多个球机加以联动，从多视角观察某一场景，实现无死角监控。以前是枪球联动，一个枪机联动一个球机，全景设备的画面视野更开阔，缺陷是不能转动，视野是固定的，在一些火车站、广场等场景的高点安装一个全景设备，周边安装几个球机，有紧急事件发生时，点击全景画面里的某个区域，周边的球机就会自动转过去，从多个角度监测该区域，监控人员就能获得全方位无死角的视频联控效果。

需要强调的是，这些功能都是用户提出的实际需求，特别是在春运、大型活动安保等情况下。高新兴根据需求进行攻关，现在已经成为AR云防、云行系统的基本功能。

2.0版本则解决了对移动目标的标签标记问题。在此之前，标签对象都是固定的监控点，或者像房子、道路等这样的静止对象，但在公安实战、交管应用中，大量目标是活动的，比如警员和警车以及违法嫌疑对象等。所以2.0版本把活动目标如警车、执法记录仪/警务通所携带的GPS位置信息，利用GPS返回的坐标，进行实时的坐标换算，实时反映在平台，展现动态信息。有了这个基础，2.0版本在实战应用中就可以实现多种可视化预案（应急、活动安保、交通管制等）和情指勤督一体化管理。

3.0版本则换了个角度，将AR高点本身的位置变成机动可变的，解决了突发事件的紧急情况下，如何快速灵活地部署应急AR云防、云行系统。云防系统最大的特点是可视化能力强，很有展示性，并且信息很丰富，很适合用于指挥中心的决策指挥。但有些突发紧急情况，如山体滑坡、火灾等场景，事故现场原来没有高点摄像监控，需要临时布设或者无人机采集视频。南方某城市之前出现过一起重大余泥渣土滑坡事件，事故发生后附近没有高点监控，不能及时了解全局情况，对救援指挥造成一定困难。后来我们通过算法改进，在坐标原点可变的情况下实现三维空间的实时坐标转换，使得无人机、车载摄像机在移动巡逻状态下采集的画面也具有AR信息。

此前的版本改进思路是连贯的，在前代的基础上不断去完善补充加强。但4.0版本则是从另一个角度来解决问题，把非AR监控摄像机所采集到的视频图像转化成AR化视频图像。当我们推广3.0版本的AR云防系统时，很多用户已经安装了数量庞大的非AR摄像机了，有些用户高点监控设备刚投入使用，想实现AR云防、云行系统的效果，若是要新采购安装AR高空摄像机，资金投入就会面临难题。因此，高新兴开发出了AR网关，我们希望不仅是高点摄像机，低点摄像机也可以逐渐普及AR化。把非AR摄像机采集到的视频码流，通过解码再编码进行转化，最后生成AR化视频，这就是4.0版本解决的问题，4.0 版本让AR实景监测、防控的门槛降低，从而让更多用户以较低成本体验到AR云防、云行系统的效果。

5.0版本又是另一个维度，其解决了怎么摆脱单点视域限制、做到可连续大范围实景监控的问题。一个高点摄像机尽管覆盖范围很大，但总是有限的，要管理一个城市或者较大型区域，不可能建密密麻麻的高点，不可能做到无缝覆盖。这需要很多时间，技术上虽然可以实现，但建设成本太高。从业务的角度出发，不论是公安还是交通，肯定不可能就只看几个高点摄像机组成的AR视频画面，还要看全区、全市，甚至一个省。在广东，高新兴已经实现了云防系统的三级联网，但三级联网只能解决纵向连接的问题，横向覆盖还没有做到，还需要点位的扩建。从业务连贯性的角度出发，要实现宏观微观结合。此前AR产品解决的是微观问题，从网格化的角度，从一个摄像机，看某一区域的信息，实现全息化。但宏观层面的问题没有解决，还是靠传统的二维地图、三维地图。现在几乎公安、交管业务系统都以GIS地图作为底层数据系统，以二维为主，现在慢慢开始三维化，但三维的成本太贵了，还不太普及。

我们想把宏观和微观衔接起来，让AR实景的应用能够无缝覆盖下去，否则仍然是一个一个高点的孤岛，从一个点的画面要跳到另一个点就不连贯。就像跨镜追踪一样，目标从一个摄像机的可视域离开后，可以在其他摄像机找到目标。AR云防、云行系统也需要实现跨镜衔接，要用什么来衔接呢，最好还是用GIS数据系统衔接。与高新兴AR云防、云行系统系统无缝对接得最好的还是三维GIS，因为AR云防本身就是采用三维坐标系，所以我们一开始就定位为三维。我们在成都推广云防立体防控系统时，客户看到画面后误以为是三维建模的画面，因为太逼真了。当然，三维建模要精细化成本很高，AR实景画面，比三维建模便宜，装个高空摄像头就行，还不用更新数据，看到什么样就是什么样，不像三维建模随着城市建设发展要维护更新。

三维GIS地图与5.0版本AR云防系统实现无缝对接。这又涉及到一些新的算法或者技术，包括怎么把AR视频画面拼接到三维模型，AR视频画面与地图视角转动和缩放如何同步匹配，视觉体验上衔接得更好一点。

5.0版本是对AR在宏观业务应用的落地，是对微观场景的突破，突破了可视域的局限，覆盖不到的地方就用三维地图过渡，漫游到下一个高点监控覆盖的区域又能看到真实的画面。此外，通过让大量的非AR摄像机变成AR化，可以让更多摄像机监控的画面拼到三维地图中。越来越多的摄像机接入进来后，盲区就越来越少。现在天网工程已经建设多年，点位覆盖算是很普及了，视频地图的覆盖率会很高。未来做管理应用时，就可以用实景可视化的视频地图来做规划，比如某条道路的交通管控措施应如何制定。无论是云防系统的应用场景（重点场所、重点路口、出入口、社区等）还是云行系统的应用场景（城市道路、国省道、交通枢纽等），以后都可以做视频接力，可以做整个道路的车流或者交通路况观察，像高速公路、特勤路线、马拉松安保路线等都可以用实景可视化来看，而不是看过去的“死”地图。

做交通一定要懂交通，而不能只懂信息化

ITS114: “交通监测云行系统”系统是不是云防系统5.0版本的应用？

陈刚：不是，云防是针对公共安全，”交通监测云行系统”面向交通，包括交通交警和交通运输。”交通监测云行系统”系统是面向交通开发的AR细分产品，而且是基本产品，可以根据用户需求来定制开发应用功能，比如信号机，云防肯定不需要，在”交通监测云行系统”才需要接入信号机、诱导屏。

ITS114:公安交通集成指挥平台和”交通监测云行系统”平台是互补关系吗？

陈刚：这是两个独立的产品，交通集成指挥平台解决的是车辆查控、违法处理问题，是面向业务的平台，已经把六合一打通，下一步跟大数据平台结合起来，做交通违法分析或者事故分析。”交通监测云行系统”是现有业务的承载，可以跟交通集成指挥平台对接，更多呈现交互体验上的差别，操作方式上的变化。我们可以把交通集成指挥平台接入的数据用AR化方式呈现出来，原有交通集成指挥平台的界面可能就是一个二维地图，有警员和设备点位、勤务信息，还有交通态势，路况等信息。”交通监测云行系统”把集成指挥平台的数据拿过来以后，可以在实景画面里面展现勤务、交通事故或者重点车辆，以及一些大数据分析的图表。

两者之间的结合还是挺紧密的，都是围绕交管业务。我们更突出前端的作战单元使用的角度，交通集成指挥平台核心版是在公安内网，偏重于实战。实际上，将两者结合，比如发生突发事件，”交通监测云行系统”会更加直观一点。重要节日或者是重要活动的安保在”交通监测云行系统”系统上看得更直观，业务外的领导一看就明白了，而交通集成指挥平台基本只有专业人员才能看得懂。

ITS114:可以说说”交通监测云行系统”系统一两个创新的点或者场景吗？

陈刚：现阶段“交通监测云行系统”最核心的亮点是AR赋能。“交通监测云行系统”还在发展，现在到3.0版本了，最开始“交通监测云行系统”1.0版本只是把基本的交管元素比如说信号、诱导、电警卡口等等数据接进来，更多的是一种呈现。到了2.0以后，更侧重于交管业务的打通，信息呈现后，怎么和日常交管工作结合起来，比如早晚高峰的路网状态、重点路口监测与疏导、重点车辆的查控，失驾、毒驾等嫌疑车辆管控，事故处理以及快速理赔，以及交通管制、活动安保、特勤警卫等等，把这些事务变成情景模式，进入模式以后，系统内部会把各种功能串接起来，不用人工去找功能。

我们在设计的时候希望把每一种智能所具备的元素、功能，抽取出来变成一个一个的点，然后根据业务场景，像自助餐一样，把这些功能都设计为一些情景模式，在界面固化下来后生成一种应用，A应用是路口疏导， B应用是特勤警卫，C应用是交通管制等等，把功能业务化。如果只做重大活动的宏观交通展示，很容易就能找到入口，操作步骤和所需要了解的信息都围绕着有关事项，但呈现出的是直观易懂的AR化效果。

ITS114:RFID和AR的结合应用有案例吗？

陈刚：河北一个城市此前做了电子车牌的应用试点，现在结合”交通监测云行系统”系统进行宏观与微观结合，重庆也在做这样的结合。高新兴推出了汽车电子标识与视频的双基卡口，汽车电子标识所存储的信息，读取以后直接通过”交通监测云行系统”的AR方式呈现出来，融合了车辆信息、驾驶员信息、货运电子订单信息、通行证、营运资格等。可实现车道级的流量展示，并且能够根据车辆身份和类型，刻画路口、路段交通画像。汽车电子标识数据与信号控制系统结合后，能够实现可视化特勤路线保障。汽车电子标识数据与交通卡口关联后，通过与实时的过车信息进行比对，能够实现假套牌车、克隆车的缉查布控。 

ITS114:高新兴在交通领域有什么小目标吗？

陈刚：最早高新兴在智能交通领域是以集成商的身份切入，主要涉及卡口、电警、信号等项目，现在还包括电子车牌、车路协同等车联网方面的产品，面向更广阔的大交通领域。

高新兴集团的一横四纵发展战略中，有一纵就是大交通业务，大交通覆盖了几个业务领域，为交管部门提供交通监测、指挥调度、研判分析等业务应用，为交通运输管理部门提供公路监管、出租车监管、公交车监管等业务应用，通过提升交通管理、运输监管水平来改善城市交通运行状况；同时凭借自身物联网等技术优势和对交通相关业务链条的深入洞察，深入业务中看似微不足道的细枝末梢，采集业务数据，借助数据的开放共享、多维碰撞和智能挖掘，为交通全对象提供定制化服务。从技术维度切入，高新兴以V2X为牵引，打造车路协同、网联汽车、电子车牌，构建了全面的车联网系统架构，从车载单元OBU到路侧单元RSU到后端车联网平台和应用，都已经做了布局，由不同业务单元来去承担各自的使命，把V2X体系建立起来。

智能网联时代，智慧交管系统会如何发展，高新兴也在做准备，现在市场还在培育期，先把技术准备好，比如我们最新推出的路侧一体化智能系统，可以把信号控制、视频监控、车路协同等等结合在一起，为智能网联时代来临做好准备；其次是紧扣着业务，高新兴有不同的几个团队，分别面向车联网、交通工程和交通组织优化等等，有大量的交通工程师，在实施推进交管项目前，都会先帮用户做诊断，这个城市的交通问题出在哪里？为什么拥堵？管理的方式是不是需要改进或者怎么样？相当于交通医生，先把把脉，诊断一下问题出在哪里，帮助用户搞清楚问题根源所在。

智慧交通是一个跨行业、跨技术的领域，车联网更多的是以通信、IT技术为牵引，信息化和经验很重要，交通工程则需要更多具备交通组织、控制方面的专业能力，要结合起来，不可偏废。做交通一定要懂交通，而不能只懂信息化，不管是人工智能还是云计算，设备再先进，进入交通领域应用，首先得搞清楚问题在哪里，用户的需求在哪里，有些问题的解决实际上不需要智能化，通过对交叉口设施、护栏标牌等设施进行调整，就可以了，不用花更多的钱去上智能化设备。

这就是专业的力量，也是高新兴交通团队的一个特点。