合肥交警基于平行交通的自主强化信号灯控制

 2018年11月，合肥交警携手科大讯飞、中科院自动化所及清华大学（以下简称“项目研究团队”），在合肥市包河区徽州大道－芜湖路沿线率先试点，利用AI算法实现了信号配时优化。整套方案采用视频方式监测数据，可以精准识别道路上每一条车道的全量数据，包括交通流量、车辆排队长度等。同时，基于中科院自动化所和清华大学团队提出的平行强化学习新方法，根据感知到的道路车流拥堵情况，对交通进行实时的区块化综合治理，算法可择优给出基于统计指标的分时段相位配时方案；结合传统信号灯时钟同步和相位协调的方式，方案通过计算实验对连续通过4个路口的车流合理分割策略的择优并投入执行，保证流量均匀分布，避免集中在某个路口导致的交通压力过大。初步测试的优化效果为：排队长度降低13%左右，西方向直行排队长度稍微增加（绿灯时间调整到其它三个方向）。未来，合肥交警将联手科大讯飞、中科院自动化所及清华大学，期望实现路网交通数据到后端AI智能体的实时交互，实现信号灯实时控制策略。 

  01  信控方案的瓶颈与未来

  目前交通信号控制大多采用单点控制、绿波控制，只能做到局部最优，无法做到全局最优。项目研究团队基于平行强化学习的信号控制可以将区域多个信号路口控match制建模并计算，“动一发而牵全身”自适应实现整体全局优化，不再需要人工对交通区域进行控制子区划分，无需单独操作某个局部参数，无需要大量人工干预，可以实现区域信号控制效果的全局最优或次优解。

  目前合肥交警已携手科大讯飞、中科院自动化所及清华大学展开相关研发工作，并逐步在合肥主城区展开应用，合肥交通信号控制即将迈入“AI控制时代”。

  02  适用场景

  流量不均衡现象时常伴随公民出行每一天，不均衡程度、不均衡时段、不均衡方向（潮汐现象）等各项指标都对路口信号灯相位设置、配时长短影响甚大；早晚高峰、午间高峰是每个城市最繁忙的时段，合理有效的设置信号灯相位、配时长短，有效缓解路面压力，减轻路网拥堵指数不仅是合肥交警首要任务，也是公民最迫切的诉求；异常突发事件，往往带有一定的偶然性与“灾难性”，对于交通而言，突发事件往往造成事件地交通拥堵、混乱，如果不及时处理疏导，甚至会造成拥堵区域蔓延扩散。

  项目研究团队所采用实时电警流量作为数据源，一方面能全面准确定位不均衡时段、不均衡方向、不均衡程度，另一方面能动态感知各个高峰期来临与结束时刻，同时对于突发事件、异常事件具有精准感知力，能有效应对以上场景下的信号控制。

  03  具体方案

  项目研究团队采用中科院自动化研究所团队开创性提出的平行智能管理与控制相关理论与方法，根据真实交通场景，结合当前大数据和云计算等技术，采用面向智能交通管控的平行强化学习技术优化信号灯控制，提出构建人工交通系统+强化学习网络的面向交通流量控制与引导的平行智能技术框架。具体架构如图1所示。 

图1：技术架构图 

  信号灯优化的平行交通技术方案主要分为三个阶段：首先基于合肥真实交通数据构建人工交通系统；然后在人工系统中对信号控制方案进行优化；最后将优化后的信控方案通过平行执行应用于真实交通场景中。

  在构建人工交通系统阶段，以合肥真实路网、信号灯相位及传感器配置为基础，保持人工系统中的相关配置信息与真实系统一致，并在此基础上基于真实电警卡口过车数据生成相应人工车流。人工交通系统可较为准确地模拟真实交通系统运行规则，同时为信号控制研究提供了计算实验及测试评估环境。

图2：基于平行强化学习的信号控制算法框架，人工交通系统环境因素与真实交通环境因素一一对应 

  在信号控制方案计算优化阶段，采用基于策略迭代的平行深度强化学习算法，从零开始自主地学习信号控制策略。一个强化学习系统主要由环境与智能体构成，两者通过状态，动作及回报进行交互。算法框架如图2所示。环境为智能体提供当前时刻的交通状态，如各检测点的车流量、平均速度、排队长度及各信号灯的相位。智能体基于当前状态计算并选择相应控制策略并执行控制动作，控制动作将指示信号灯是否切换到下一相位。在动作执行后环境将会切换到下一个时刻的状态，并向智能体返回即时回报，即时回报衡量了当前控制策略的性能，例如，如果路口各向车辆均衡度较高并且路网净流出车辆数为正，则控制策略将会有较高的即时回报。同时，智能体的控制策略通过神经网络实现，网络的输入为当前人工交通环境的状态，输出为信号灯是否切换相位的动作指令。在信号优化过程中，通过策略迭代算法执行计算实验，训练该策略网络以最大化控制方案在特定时段的累积回报。进一步，通过计算实验得到的控制策略，能够在人工系统中提升区域路网车辆通行量，减少车辆的等待时间，均衡路口各向流量。

  在实际部署阶段，由计算实验择优生成的信号配时方案被部署到真实交通系统中。真实系统与人工系统平行且一致运行，一方面该信控方案将在真实交通场景中有效引导系统有序运行，提升真实交通系统整体运行效率；另一方面，真是交通运行效果进一步作为输入被人工交通系统学习，作为经验累积，增强系统智能水平。

  04  具体效果

  在人工系统的信控算法性能测试中，就整个建设区范围信号优化效果来看，平行交通管理与控制的方案较现有方案在路口排队长度、车辆等待时间、路网车辆总数等指标均上均有明显提升。

  图3表示区域路口车辆排队长度，全网排队长度在高峰期、平峰期均减少25%左右。 

图3：全局排队长度

图4表示区域路口车辆等待时长，全网平均等待时长在高峰期、平峰期分别减少30%、28%左右。

图4：全局等待时间

图5表示区域路网车辆保有量，优化方案便于车辆快速通行，尽早到达目的地，驶离路网。

图5：全路网车辆保有量 

图6为芜湖路徽州大道重点交汇路段方案优化前后效果对比图，从优化结果可见，通过平行强化学习信号优化算法，能准确预测并感知早高峰时段的车流分布情况，及时应对各种各向车流，指导信号灯快速、安全、稳定的疏导路面交通情况，减轻路面执勤民警的压力。 

图6：早高峰优化前后效果对比

  在刚刚结束的2018中国自动化大会上，由中科院自动化研究所王飞跃研究员带领团队所提出的“平行交通管理与控制关键技术及应用”项目获CAA科学技术进步特等奖，这也是中国自动化学会10年来颁出的唯一一个特等奖；2015年，在西班牙举行的第十八届国际智能交通年会上，该团队“基于ACP方法的平行交通一期工程”荣获2015年度IEEE国际智能交通系统杰出应用奖，成为自2006年该奖设立以来第一个获此殊荣的区域性智能交通应用工程项目。合肥交警与科大讯飞、中科院自动化研究所以及清华大学的合作，必将为合肥智能交通发展打开崭新局面。