作者：唐冬冬，张孝朋（中远海运科技股份有限公司）
摘要：随着公众出行需求的增加，个别高速公路收费站级系统存在出入口车道通行效率不高等问题，从而造成高峰时刻收费站拥堵。本文提出利用收费站服务器虚拟化技术解决现有车道工控机算力不足导致的通行效率低的问题；采用软件虚拟化技术，将车道交易功能纳入站级交易系统，解决传统车道存在的ETC邻道干扰和重复扣费问题。通过虚拟化技术的应用还可以实现车道窄岛化，增加车道数量，从而提升通行效率。此外，虚拟化的应用场景既适用于已有收费站提升通行效率的改造，也可以用于新建收费站的使用，通过“云+边+端”总体架构模式，打造“虚拟化、窄岛化、无人化、非现金、设备IP化、快速通行”智慧收费场景，提升高速公路收费站的通行效率和服务质量。
0 引言
高速公路作为国民经济发展的重要支撑载体，截止到2022年年底，全国高速公路的通车总里程达到17.7万公里，公路系统的发展也从普通高速公路阶段进入到智慧高速的发展阶段 [1]。取消高速公路省界收费站后，收费模式由传统的分省收费模式转变为全国“一张网”收费模式，实现了“一次出行、一次交费、一次查验、一张账单”的目标。然而，随着人民群众不断增长的美好出行需求，收费站出入口正成为车方通行高速公路的易堵点。为此，各省市采取了不同的方式进行试点和探索。广东庆丰收费站是广东省最繁忙、交通流量最大的收费站之一，通过优化ETC车道与ETC人工混合车道的布局方式，避免车流交织引起的拥堵问题；江苏、福建和贵州等地展开“云收费”试点，实现车道交易和外场设备控制的分离，提升收费站整体通行效率；重庆G5013科学城收费站采用“匝道预交易+三级诱导+车道验证”的技术，通过避免异常车辆进入ETC车道造成拥堵的方式提升ETC车道的通行效率。由此可以看出，各地对新一代智慧化收费站的探索正如火如荼地开展。
截止到2023年3月，全国高速公路共计1.1万个收费站，收费站日均通行流量达3345万辆。因此，作为直接面向公众提供出行服务的窗口单位，提升车辆通行收费站的效率，是切实提升人民群众出行需求的重要手段。提升车辆通行收费站的效率在以下五个方面发挥着重要作用：缩短旅途通行时间，提高收费站出入口通行效率，减少车辆在收费站的停留时间，让司机和乘客更加方便快捷地抵达目的地；降低交通堵塞，预防车辆排队等待时间过长，降低拥堵给车辆和公众带来不便；提升道路安全，降低长时间等待给司机带来的疲劳驾驶风险；提高服务质量，收费站是服务车辆和乘客的重要场所，提升收费站效率可以提高服务质量；促进经济发展，高速公路是重要的交通基础设施，通行效率的提高可以促进经济发展，推动人流、物流和资金流畅通，为地方经济发展提供强大的支撑。综上所述，提高收费站出入口车道的通行效率，缓解收费站的拥堵，对提升车方通行体验和加快社会经济的发展具有重要作用。
1 概述
现有收费站软硬件架构如图1所示，收费站层级主要由服务器和对应的应用软件组成，服务器按业务类型可分为收费服务器、入口治超服务器、门架服务器和部站传输服务器。收费车道主要由分布在每条车道的工控机和对应的车道外部设备（简称外设）组成，外设由路侧单元控制器、读卡器、打印机、移动支付终端、费额显示器、栏杆机、线圈、雨棚灯、情报板、称台、车型识别设备和自助卡机等组成。在车流量不断增加和收费业务多元化发展的背景下，收费站传统架构模式的运行瓶颈逐步显现：车道工控机系统资源无法满足不断增加的收费需求，导致车道工控机出现算力瓶颈，使得车道收费效率难以提升；收费站各个车道工控机独立运行，车道间交易数据无法实现实时共享，存在ETC交易邻道干扰和重复扣费问题；收费站软硬件节点众多，运行维护困难；部分受地理条件限制的老旧收费站，现有车道数量无法满足日益增加的通行需求。为此，本文提出利用虚拟化技术解决上述问题，提升收费站的过车效率。
图1 现有收费站车道软硬件架构示意图
本文面向现有收费站的实际突出问题，提出利用虚拟化技术提高算力、解决邻道干扰和避免重复扣费的方法，不仅如此，通过虚拟化技术的应用还可以实现车道窄岛化，增加车道数量，从而提升通行效率。一方面通过服务器虚拟化技术，将站级服务器的运行方式由传统的独立运行方式改为以集群方式运行，让容器运行在虚拟机上，通过划分更多的服务器算力资源解决现有工控机算力不足的问题，此外，虚拟机的应用让运维人员更加方便地在虚拟环境中添加和修改虚拟机资源，具备扩展性强、灵活性高、且允许在一个平台上同时运行多个操作系统的优势；另一方面，通过车道软件系统虚拟化技术的应用，实现了一套车道收费系统可以承载本站所有车道的通行功能，达到了本站所有收费数据的汇聚目标，为邻道干扰问题和重复扣费问题的解决提供了判断依据。相较于现有的车道布局优化方案 [2]和智慧收费站方案，本文提出的基于软硬件虚拟化技术可以在不增加额外硬件资源的前提下，利用现有服务器资源提升收费站的整体过车效率。基于以上特性，虚拟化技术不仅可以用于既有收费站的改造，用于提升通行效率，而且可以用于新建收费站的使用，打造“虚拟化、窄岛化、无人化、非现金、设备IP化、快速通行”智慧收费场景，提升高速公路通行效率和服务质量。
2 技术特征
通过服务器硬件虚拟化与车道软件系统虚拟化相结合的方式，打造新型的站级应用系统。将收费站的多个相互独立硬件服务器打造为集群环境，采用虚拟机的方式，为各个业务系统划分合理的系统资源；利用宽带性能优化技术和CPU虚拟化性能优化技术对虚拟机进行调优；通过重构车辆交易逻辑，实现车道收费系统虚拟化，将原有车道工控机上运行的业务迁移至收费站虚拟机，纳入站级交易系统范畴，实现一套系统控制收费站下属多个车道外设终端的功能，达到了车道交易数据实时共享的目标。相较于传统的收费站运行模式，采用虚拟化技术的新型站级系统具备以下优势。
（1）高可用性：采用虚拟化技术的服务器集群，通过部署多个虚拟机，利用Keepalived实现负载均衡和故障转移，从而提高系统的可用性和稳定性，避免传统收费站模式单节点运行导致故障点多的问题，保障收费站的收费秩序提升通行效率。
（2）资源利用率：通过虚拟化技术，可以将一个物理服务器划分为多个虚拟机，从而实现更高的资源利用率，减少了每条车道工控机及附属设备的硬件成本和能源消耗。
（3）灵活性：服务器集群和虚拟机可以根据收费站业务需求动态地增减节点和虚拟机实例，从而提高站级系统的灵活性和可扩展性。
（4）简化管理：将多个服务器和虚拟机集成到一个集群中，可以更方便地管理和维护系统，降低管理成本和风险。
（5）提高安全性：服务器集群和虚拟机可以通过隔离和实时安全控制 [3]，提高系统的安全性和保密性，避免单点故障和数据泄露的风险。
2.1 服务器虚拟化
2.1.1 技术路线
本文中收费站服务器虚拟化由存储资源虚拟化、计算资源虚拟化和网络资源虚拟化组成。收费站服务器虚拟化资源配置如表1所示，系统拓扑如图2所示，服务器虚拟化采用Fusion Compute虚拟化平台，Fusion Compute主要实现对虚拟化资源的管理，底层是KVM（Kernel-Based Virtual Machines，内核虚拟机）虚拟化，即每台物理服务器首先通过KVM虚拟化技术实现资源虚拟化，再由Fusion Compute管理界面统一管理、调度虚拟化资源。收费站服务器虚拟化平台共有3个计算节点（3台服务器），1台共享存储以及2台交换机组成。虚拟化平台共承载了6台虚拟机，4台生产业务虚拟机和2台虚拟化平台管理虚拟机。
表1 虚拟化服务器资源配置信息表 
图2 服务器虚拟化系统拓扑图
2.1.2 性能优化
本文以华为TaiShan200服务器为例，应用鲲鹏Boost Kit虚拟化技术对站级虚拟化平台进行调优，提升基于KVM虚拟化场景的宽带性能和CPU虚拟化性能，有效地应对车道所有TCP外设消息接入收费站服务器的并发压力。
宽带性能优化技术：进行BIOS配置，将内存刷新频率设置为Auto，同时进行开启NUMA、设置Stream Write Mode、开启 CPU预取配置、开启SRIOV和开 SMMU操作。
CPU虚拟化性能优化技术：对KVM虚拟机使用virsh命令实现服务器CPU资源的管理。在TaiShan服务器虚拟化集群上同时运行多个站级虚拟机时，由于交易业务虚拟机和管理业务虚拟业务类型的不同，会对服务器资源造成不同程度的占用。为了避免管理业务虚拟机和数据库虚拟机对存储密集型交易业务虚拟机的干扰，需要将交易业务虚拟机处理IO的存储进程完全隔离。使用vcpuinfo和emulatorpin命令查看和修改虚拟机使用物理逻辑CPU的状态，通过对CPU资源的绑定，解决了在收费站财务扎账和参数名单下发期间，车道交易效率降低的问题，有效地提升了交易业务虚拟机的稳定性。
通过对收费站生产环境的日志数据提取，在传统工控机、TaiShan200服务器优化前和TaiShan200服务器优化后三种情况下，分别随机选择ETC入口车道1000条ETC交易耗时数据。结果表明，在TaiShan200服务器虚拟化集群环境下，使用宽带性能优化技术和CPU虚拟化性能优化技术的ETC交易耗时与优化前相比性能提升13%，与传统工控机相比性能提升22%。ETC交易耗时比较如表2所示。
表2 ETC交易耗时表 
以高速公路状态名单处理流程为例，截至2023年4月，高速公路状态名单数量达到了5323万条，并且该数据量随ETC用户的增长呈现线性递增的趋势，为实现全网状态名单中黑名单用户的及时拦截和白名单用户的及时放行，需保证状态名单的实时加载。在本文中，采取抽样统计的方式对某省主线收费站状态名单加载、查询耗时数据进行分析，得出数据如表3所示。表中的抽样数据表明在状态名单加载和判断流程，虚拟化站级系统相比车道工控机平均的运行效率提升了80%。服务器虚拟化可以实现站级服务器CPU资源、内存资源和存储资源的共享，利用服务器算力资源替代车道工控机算力资源，解决了车道工控机算力资源不足导致状态名单加载时间过长的问题。
表3 状态名单分析表 
2.2 软件虚拟化
2.2.1 技术路线
现有联网收费站级软件系统分为收费站和车道两个层级，如图3所示。收费站层级软件系统由站级管理系统和站级传输系统组成，收费站层级软件系统部署服务器位于收费站机房内。车道层级由车道系统构成，车道层级软件系统部署工控机位于收费岛的收费亭内，一台工控机部署一套车道系统实现该条车道的过车功能。
图3 现有联网收费站级业务架构图
重构车道交易逻辑，将车道系统功能纳入站级交易系统实现。梳理车道交易业务流程，将现有一套车道系统控制一条车道的“一对一模式”重构升级为一套站级交易系统控制多条车道的“一对多模式”。采用虚拟化的设计和部署方式，站级交易系统只需要单点部署即可实现对该站所有车道过车逻辑控制，从应用软件层面实现车道交易的虚拟化，实现了所有车道交易数据的实时汇聚和共享，为ETC邻道干扰和重复扣费的判断提供了数据支撑。
在服务器虚拟化平台上，新建4台虚拟机承载联网收费站级业务，站级收费系统虚拟化架构如图4所示。4台虚拟机按业务分为站级管理虚拟机、数据库虚拟机和站级交易虚拟机，其中站级交易虚拟机由两台虚拟机组成。站级管理虚拟机承载收费站现有的管理业务，由站级管理系统和站级传输组成；数据库虚拟机用以承载Mysql数据库的运行；站级交易虚拟机承载车道交易逻辑控制系统和交易支撑系统的运行。站级管理系统和站级交易系统均以容器化的方式运行在虚拟机上，用虚拟化的良好隔离性来弥补操作系统虚拟化隔离性的不足问题 [4]。
图4 站级收费系统虚拟化架构图
站级交易虚拟机采用高可用的主备运行模式，避免了单台交易虚拟机宕机导致车辆无法通行收费站的情况。采用Keepalived系统实现主备虚拟机的状态检测，在交易虚拟主机宕机的情况下，交易虚拟备机仍能够承载本收费站所有车道的运行，维持收费站车辆的正常通行秩序。车道交易逻辑控制系统和交易支撑系统均采用容器化的方式运行，保证业务的独立运行和快速部署。
2.2.2 软件架构重构
现有车道软件架构以单个车道为主体，按照业务类型分层的模式进行软件设计和开发。由界面层、流程控制层、业务支撑层和设备驱动层组成，各层级协同运行实现单个车道的车辆交易功能。
重构后的虚拟化站级交易系统以功能为主体，按照功能业务的不同，以模块进行分类，每个模块可以独立运行，每个模块均支持多个车道的响应控制，车道业务架构对比如图5所示。虚拟化站级交易系统架构满足了“一套软件控制多个车道”的需求。虚拟化软件架构将单个车道封装为对象，车道对象具有车道的基础属性和基本功能，运用继承和多态的特点，实现了ETC车道、混合车道和自助车道的多种运行模式。一个收费站可根据预设的车道配置信息，实现多种车道的整体控制。
图5 车道业务架构对比图
一套软件的运行模式，实现了“大脑中枢”的控制功能，当行驶在A车道的ETC车辆被B车道的路侧单元邻道交易后，车辆继续行驶至A车道一体化栏杆机区域时，站级交易系统通过交易数据和A车道牌识数据判断当前车辆已在B车道扣费完成，则A车道不再重复扣费，站级交易系统直接控制A车道栏杆起杆操作和B车道的栏杆降杆操作，从根本解决了重复交易和ETC邻道干扰问题。
2.2.3 端口分类绑定
在ETC交易并发测试过程中发现，虚拟化车道配置数量和ETC典型交易平均耗时成正比，由于ETC车辆交易采用的DSRC（Dedicated Short Range Communication，专用短程通信）技术具有低延时特性，因此采用线程绑定和端口绑定技术，解决各个车道ETC交易的并发等待问题，一是各模块为每个车道对象单独开辟线程进行通信响应和业务处理，实现车道间业务隔离；二是各模块通信按车道号进行端口绑定，例如，现有通信端口为35601，则根据车道号在原有通信端口的基础上加上对应的数值作为最终通信端口，又例如，入口1车道的通信端口为35602，出口1车道的通信端口为35702，实现端口的并行监听，避免应用软件消息队列拥堵导致ETC交易耗时的增加。
3 架构设计
3.1 总体架构
虚拟化收费系统采用“云+边+端”总体架构模式，如图6所示，省中心部署智能边缘管理平台，实现对站级节点、车道终端节点的接入和纳管 [5]。路段分中心设置集中监控管理系统，实现对匝道预交易和自助车道的监控与管理。收费站服务器集群化，形成边缘云，部署站级管理系统和站级交易系统，通过边缘管理平台实现云边协同。车道终端接入到局域网，实现站级交易系统对车道终端设备的控制。
图6 虚拟化收费系统总体架构图
基于联网收费运营现状，通过对虚拟化收费系统的总体架构设计，具备了车道布局标准化、设备接入规范化、特情处置规范化、收费在线化和收费智能化的特点，具体如下。
（1）车道布局标准化：按照交通运输部高速公路联网收费系统优化升级工程总体方案进行车道布局设计。
（2）设备接入规范化：站级交易系统通过标准化网络协议对收费站内所有车道设备（含站前预交易门架设备）集中处理，实现车牌识别设备、费额显示器、栏杆机、通行指示灯、报警器、车检器和ETC路侧单元等设备集中控制和监测。
（3）特情处置规范化：进一步完善特情类型及处理规则，实现精准判别和记录特情，通过特情上报、音视频对讲和远程协助等方式促进收费站特情处理能力的提升。
（4）收费模式在线化：在线黑名单和在线计费的应用，实现联网收费业务向精准化、在线化发展，全面提升高速公路信息服务水平。
（5）收费业务智能化：通过匝道自由流预交易、机器人收费、云车型判定和远程辅助技术的应用全面提升收费站级智能化水平。
3.2 站级系统架构
虚拟化站级收费系统架构由资源层、平台层和服务层组成，如图7所示。资源层由服务器虚拟化提供存储资源、计算资源和网络资源，可以根据业务运行情况动态调整服务器集群的资源分配，实现资源的合理、高效利用；平台层由虚拟化平台、基础组件和应用组件构成，虚拟化平台提供最基础的服务器硬件资源调度功能，基础组件提供银河麒麟高级服务器操作系统（鲲鹏版）V10、Redis内存数据库、Docker容器化组件和Mysql数据库等基础服务，应用组件由站级交易系统业务模块和站级管理系统业务模块组成；服务层对外提供虚拟化站级收费系统服务，支撑3个入口车道、5个出口车道、站级管理系统和站级远程值守系统的运行。用虚拟化站级收费系统替代传统的车道工控机，实现服务器资源和应用程序集中管控、信息共享和数据互通 [6]，破解了车道间“控制孤岛”等难题，形成一个可扩展的交易服务和通用统一化的控制服务。
图7 虚拟化站级收费系统架构图
3.3 虚拟化收费流程
以ETC车辆交易过程为例，虚拟化收费流程如图8所示。
图8 虚拟化收费流程图
车辆进入车道，路侧单元接收到车载单元反馈的VST信号，设备驱动模块将路侧单元接收到的车辆数据发送至流程控制模块；流程控制模块发起ETC交易，调用业务支撑模块进行参数查询、名单查询和费率查询，对车辆信息、标签信息、ETC卡信息和余额进行有效判断；设备驱动模块接收到ETC扣款请求，调用路侧单元执行ETC扣款，扣款完成后，栏杆抬杆放行，费额显示器显示车辆的通行提示信息；流程控制模块记录车辆的交易流水，交易流水以文件的形式存储在本地磁盘；若是混合车道，则界面交互模块展示当前车辆的交易信息，若是窄岛化车道，则将车辆交易信息发送至后台远程处理系统进行交易信息展示；数据交互模块将存储在本地的交易流水、图片和日志上传至上级节点，完成本次虚拟化收费流程。
4 应用场景
4.1 窄岛化
站级系统采用虚拟化技术后，为收费站的窄岛化、无人化实施提供了技术支撑。以某省虚拟化收费站试点工程为例，该收费站原设计3个入口车道，4个出口车道，经过窄岛化变更试点建设后，除出口边道收费岛宽度保持不变外，其他收费岛宽度由2.2米缩减至1米，4个出口车道扩充为5个出口车道。窄岛化收费广场平面示意如图9所示，除出口边道外，其他车道均采用窄岛化设计。
图9 窄岛化收费广场平面示意图
本文选取地理位置相邻、车流量接近且ETC车道数均为3条的传统收费站做抽样统计对比分析。其中，出口ETC人工混合车道数为2条的传统收费站作为参照组，出口ETC人工混合车道数为3条的虚拟化收费站作为实验组。分别抽取同一工作日的出口混合车道车流数据进行分析，分析结果如图10、图11所示。结果显示，在收费广场宽度不变的情况下，相比传统收费岛布局，使用虚拟化、窄岛化的收费站，在增加1条ETC人工混合车道的前提下，车辆在高峰时段8点至21点通行ETC人工混合车道的平均排队时间约从40秒降低至20秒，单车平均拥堵时长减少约50%。
图10 小时车流量对比图
图11 车辆平均排队时长
4.2 新建与改扩建收费站
站级虚拟化技术的应用为新建收费站和改扩建收费站提供了技术支撑。对于新建收费站，虚拟化技术满足了部路网中心关于收费站标准化建设指南的要求：设备设施（含软件）标准化、用户服务统一化和运营管理精细化。
收费站软件架构采用以收费站为单位的标准化架构设计，采用统一的运行环境、软件实现在线部署和在线配置；支持无人值守和特情远程处理的用户服务统一化；实现了ETC状态名单实时更新的精细化管理要求。对于已有收费站的改扩建，虚拟化技术一方面可降级使用，按传统方式分别部署到已有的工控机上，保障传统收费模式的独立稳定运行，另一方面，使用虚拟化技术的标准化车道软件具备无人自助收费、匝道自由流和远程特情处理等智慧化收费站的要素，满足改扩建收费站的升级需求。
5 结束语
虚拟化技术在高速公路站级收费系统中的应用，为高速公路的数字化、智慧化建设提供了样本。服务器虚拟化技术和软件虚拟化技术一方面为解决车道工控机算力不足、ETC邻道干扰和重复扣费问题提供了可借鉴的途径；另一方面也为窄岛化的设计施工提供了前置条件。虚拟化技术采用的云边端架构模式，不仅可以应用在新建收费站的规划设计，还可以用于既有收费站的升级改造，提高收费站的通行效率。值得注意的是，由于虚拟化技术将现有的车道交易功能纳入到了站级系统进行实现，因此，对网络质量保障相比传统模式提出了更高的要求。此外，由于站级服务器资源限制，本文对于虚拟化站级系统的容灾、备份和快速恢复机制未做过多讨论，后续可做进一步的研究探讨。
参考文献
[1] 杜豫川,刘成龙,吴荻非,等.新一代智慧高速公路系统架构设计[J].中国公路学报，2022(4):203-214.
[2] 刘成龙,陶莎,赵聪,等.高速路网不停车收费车道优化布设方法[J].中国公路学报,2022(5):179-188.
[3] 崔超远,李勇钢,乌云,等.基于自适应机制的虚拟机进程实时监视方法[J].计算机学报,2019(04):896-912.
[4] 吴松,王坤,金海.操作系统虚拟化的研究现状与展望[J].计算机研究与发展,2019(1):58-68.
[5] 张浩,孙毓忠,肖立,等.RainbowD:一种异构云环境下高效的Docker镜像分发系统[J].计算机学报,2020(11):2067-2083.
[6] 沙行勉,吴挺,诸葛晴凤,等.面向同驻虚拟机的高效共享内存文件系统[J].计算机学报,2019(04):800-819.
（原文刊载于2023年第12期《中国交通信息化》）
声明：本文来自中国交通信息化，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
