本文选自《交易技术前沿》总第四十一期文章（2020年12月）
冯涛、涂鸿安、鲍振华 / 上交所技术 tfeng@sse.com.cn
宋士明、张军、汪洋、周翔 / 南京证券 smsong@njzq.com.cn
刘超 / 思杰公司
证券行业是高度信息化行业，券商作为证券行业的主要参与者，其信息化发展亦是如此。目前券商的核心业务大多数是通过广域网实现的。最近几年，随着券商业务的扩张、数字化转型和云化部署的快速推进，由于SDH、MSTP、MPLS等广域网存在价格高昂、开通周期长、运维效率差、管理方式低效等缺点，无法快速、灵活地满足业务需求，致使券商重新评估其WAN的设计和部署，并寻求改进措施。
SD-WAN的诞生满足券商广域网对于扩展性、可靠性和安全性方面的要求。目前，该服务已广泛应用于连接广阔地理范围的企业网络、数据中心、云联网应用及云服务。国内部分大型银行机构在分支网点已有SD-WAN应用案例，该技术同样适合为证券行业用户解决广域网互联问题，并基于传统网络提供优化的广域网解决方案。
为验证SD-WAN方案在券商广域网应用场景下的技术优势和适用性，上交所技术携手南京证券和思杰公司，探索SD-WAN在证券行业灾备互联应用研究。
一、SD-WAN技术特性
相较于传统组网方案，SD-WAN组网技术拥有如下特性和亮点：
● 确保业务连续性
SD-WAN采用数据复制功能，保证关键应用的持续高可用，采用压缩和缓存降低广域网数据传输的带宽，整体上提升应用访问体验。
● 网络与数据安全性
SD-WAN提供了一种更简单的接入方式，同时提供端到端数据加密，安全验证、防火墙、IPS、防病毒等全方面广域网安全控制措施。
● 云软件部署的适配性
SD-WAN提供对主流云服务商的支持，可以实现与云市场对接，便于用户快速开通云端SD-WAN。
● 业务部署快速性
SD-WAN可以提供零接触部署（ZTD），即通过管理节点或云端推送方式完成，帮助券商以跨数据中心、远程指导、外派人员等方式分钟级快速接入网络。
● 线路接入的多样性
SD-WAN设备具备接入各种网络介质的能力、路由层面的相应对接能力、根据不同线路的特点来发挥整体overlay网络的最大效能。
● 线路感知的实时性
SD-WAN对于线路的质量具有实时感知能力，进而对流量转发路径做出最佳选择，降低客户扩容频次。
● 流量调度的智能性
SD-WAN技术可以在广域网线路发生变化的情况下，确保实时应用数据传送的连续性，无需预定义数据流带宽叠加需达到的带宽门限值。
● 应用流量的可视性
SD-WAN可以实时展示广域网线路质量、具体应用流量统计、网络监控方面的线路情况展现和丰富的报表。
二、证券行业灾备互联组网的现状和痛点
近年来，证券行业网络安全事件呈高发态势，暴露出行业整体备份能力建设覆盖面不全、备份能力等级不达标等诸多问题。为有效解决以上问题，监管机构出台了《证券经营机构信息技术管理办法》、《证券期货经营机构信息系统备份能力标准》等行业指导性的意见，推进证券经营机构开展“两地三中心”等灾备系统的建设。但是，在灾备互联组网方面遇到了一些问题和痛点，主要包括如下：
1、线路资源利用率低。为确保灾备系统之间互联的网络高可用，提高业务连续性，券商普遍申请多条广域网线路采用冷备方式提供网络冗余，备份线路带宽闲置，整体浪费线路资源。
2、业务流量区分保障问题。证券行业对关键业务数据零丢失和关键业务连续性保障要求较高，传统广域网架构和技术，缺乏应用识别并针对关键业务应用提供高级别QoS保障。
3、难以适应云转型发展。云灾备中心是证券行业近来非常突出的创新方案，对云网融合提出了更高的要求，传统专线在网络灵活性和弹性等方面不适合云化部署。
4、传统专线部署周期长、价格昂贵，运维成本高。
5、业务可视化问题。缺乏可视化界面，无法图形化实时查看线路的延迟、抖动、丢包、拥塞、应用对于网络资源的使用情况等实时网络状态。
为解决以上业务痛点、提升券商广域网安全运行水平、降低运营成本，上交所技术携手南京证券就SD-WAN在灾备互联场景展开应用探索，具体场景以南京证券主中心到上海灾备中心为例。
三、南京证券SD-WAN灾备互联组网实践
在跨数据中心灾备互联中，传统组网方案多数通过点到点专线互联，多条广域网专线形成主、备互备，详细见图3-1。
图3-1:改造前多数据中心传统网络对接示意图
传统的灾备互联组网方式对券商业务连续性保障提供了有效支撑，但也带来备份线路带宽闲置等情况。若采用SD-WAN技术，多数据中心灾备互联可引入价格低廉，带宽更高的互联网线路替换部分昂贵的专线带宽，通过多线路捆绑来增加总体可用带宽，提升网络稳定性。同时SD-WAN内置的安全及路由功能还可代替防火墙和边界路由器的部署，简化运维等。
图3-2:改造后多数据中心网络SD-WAN对接示意图
下文将结合南京证券主备数据中心灾备互联场景，验证SD-WAN组网的可行性和应用价值。
3.1.验证内容
验证内容如下：
1、业务多线路宽带利用率测试；
2、WAN线路切换情况下业务连续性、可靠性测试；
3、业务自动识别及自动优化测试；
4、业务加密测试；
5、运维可视化测试。
3.2.测试情况
上交所技术、南京证券通过在跨数据中心场景下对SD-WAN网络的部署和测试研究，较好地验证了SD-WAN技术价值。总体测试方案为：上海节点SD-WAN MCN设备和南京节点SD-WAN Branch设备均采用网关模式进行部署，用于传输灾备环境的数据库同步业务数据以及双向打流数据。SD-WAN设备采用电信与联通双Internet线路（电信50M，联通100M）和双专线链路（电信联通均为20M）。测试网络拓扑图如下：
图3.2-1:测试网络拓扑图
本次测试场景设计了如下线路捆绑组合，分别为两条MSTP专线捆绑，一条专线一条互联网捆绑，以及两条互联网线路捆绑。对于每个测试线路组合，均开展了如下几个方面的测试：
1、业务多线路宽带利用率测试：
测试过程：以业务多线路宽带利用率测试为例，在客户端使用iPerf测试工具向服务端打流，查看iPerf的带宽能达到的最大值远超出单条线路能够提供的带宽。
测试结果：单个业务可以同时使用多条专线带宽资源；总体带宽利用率不低于80%，峰值总带宽利用率达到95%。
图3.2-2:20M+50M线路叠加打流有效带宽记录
2、业务线路切换情况下应用连续性、可靠性测试：
测试过程：测试业务对单个线路的质量变化无感知，单根线路故障不影响业务流量连续传输，模拟线路断网，持续一段时间后专线恢复，SD-WAN系统自动调度流量。具体测试方法为在断线测试之前，使用iperf打流以及向上海异地灾备做数据库同步，同时长ping；断开任一线路，看设备是否监测到线路中断，业务是否出现中断；重新接上线时，查看设备是否监测到线路恢复，业务是否出现中断。
测试结果：整个测试过程，ping包不丢，数据库同步业务流也无任何中断，在中断线路恢复后，流量分摊到两条专线，提高了广域网传输业务可靠性。
图3.2-3:专线线路中断，但数据库同步业务流量不受影响
3、业务自动识别及自动优化测试：
测试过程：测试SD-WAN自动识别应用种类，双向实时感知线路状态，能够自动保证实时类应用转发，不出现拥塞。通过同时在SD-WAN两端测试机发起ping和iperf流，以及进行生产数据库同步。
测试结果：在SD-WAN管理平台上查看业务流信息，发现流量分别被识别为icmp、iperf和Oracle应用类型，SD-WAN可以基于应用类型自动选择路径转发，出现拥塞时，优先确保Oracle的实时数据库同步业务流量进行转发，确保广域网业务传输可靠性。
图3.2-4:SDWAN应用识别引擎自动识别流量应用类别
图3.2-5:基于不同应用类别自动分配不同QoS优先级
图3.2-6:优先保证高优先流量转发（Interactive>Bulk）
4、SD-WAN的安全性测试：
测试过程：SD-WAN具有网络防火墙功能，通过对业务流量在SD-WAN接口上抓包查看包内容信息。
测试结果：发现每根WAN线路上数据报文都经过加密，只能查看到报文的转发端口和数据长度，看不到内部数据，无法获取内层报文内容，保证广域网传输数据安全性。
图3.2-7:数据报文内容展示
此外，SD-WAN还具有内置防火墙功能，可以根据应用来实现安全策略控制。
5、运维可视化测试：
测试过程：SD-WAN管理平台可视化实时展示SD-WAN全网各线路，各方向的网络状态信息。
测试结果：展示的状态数据含有：硬件使用，线路带宽占用，网络抖动、延迟、流表信息、流量的源目地址、协议类型，转发路径等。在SD-WAN运维监控方面，支持链路质量明细监控、流量追踪溯源、流量排序索引、QoS和流量的图像化展示、统一管理等功能，提升了广域网运维的效率。
图3.2-8:双向线路状态实时显示（时延 带宽 丢包 抖动 拥塞）
图3.2-9:流表详细信息
图3.2-10:应用流量QoS信息
图3.2-11不同QoS流量带宽占用
图3.2-12:不同应用流量在不同时间段占用带宽的情况
3.3.应用价值
在证券行业的灾备数据中心互联应用研究中，通过SD-WAN网络部署，积极探索了证券行业SD-WAN网络容灾能力，与券商的传统广域网实践对比，SD-WAN可为证券行业广域网互联带来如下价值：
1、降成本增效能：SD-WAN可实现将昂贵专线和价格便宜的互联网线路逻辑捆绑为高可用的混合SD-WAN虚拟通道，通过使用性价比高的链路，可有效减少券商网络建设费用支出。根据测算，同比例带宽情况下，SD-WAN相较运营商专线，每年至少可节省30%的成本。基于SD-WAN捆绑的专线+互联网的虚拟网络通道，可以实现在提供不低于原有专线带宽的情况下，并达到与专线同等的网络服务质量。由于同等带宽的互联网线路相较于运营商专线价格非常低廉，使用SD-WAN构建的混合虚拟网络可以进一步降低券商的跨数据中心，尤其是与异地数据中心之间的网络建设费用。
2、网络实时在线：
1）SD-WAN综合利用多条互联网或专线链路，具有多路由优化及冗余特性，保障券商业务的连续性。
2）SD-WAN根据业务应用需求和实时链路质量检测以及智能路径控制等特点，为关键业务提供优质的链路，保障券商关键业务的运行质量。
3）SD-WAN基于数据包级链路探测，毫秒级感知线路质量，基于数据代理级报文收发模式。单条线路出现故障时，同一个会话流量可自动平滑切换，不会造成应用层业务会话中断，保障券商广域网链路实时在线。
3、盘活线路带宽：SD-WAN将多根独立的甚至不同介质的线路进行逻辑捆绑，叠加多根线路带宽，形成高速通道。拥有基于数据包的带宽聚合，使一组源目IP流使用多条通信通道传输，通过智能算法实现带宽叠加利用和线路故障无感知切换。
4、保障实时应用：通过高可用性、智能服务，算法优化等方案提升用户体验。针对UDP或对延迟高敏感的应用（例如:视频会议、VOIP，实时数据同步等）,通过数据复制技术并选择优先到达数据来提供用户体验保障，解决卡顿、丢帧、时延过大等问题，可内置QoS策略自动双向保障不同业务流量优先级,确保高优先级的关键业务始终保持在优先级高的链路上，实现最高优先的业务运行在质量最优的链路上。
在本课题研究中，券商充分利用SD-WAN的技术优势，通过捆绑专线和互联网线路实现了从主中心到异地灾备中心的跨中心的核心数据库实时同步，达到专线的网络服务品质，实现了预期的目标。
5、部署可管可控：
SD-WAN的典型特征是软件定义，在网络的管理上拥有先天的灵活运维优势：
1） SD-WAN拥有即插即用、集中运维管理能力。可实现对SD-WAN网络设备统一配置管理及相关策略下发等功能，无需专业IT人员到异地中心现场安装配置，实现SD-WAN快速自动组网。
2）SD-WAN拥有全网可视化界面、多维度图形报表展示等功能。可实时实现对全网线路、流量和网络设备可视可控、提供智能运维、事件报警等功能。
3）SD-WAN拥有丰富的API接口，可被上层网络集中管理平台集成，进一步提高券商数据中心网络管理的效率，降低网络运维难度。
6、多维安全保障：SD-WAN管理平台集中管理整网安全策略，实现端到端、全方位网络安全控制。具有状态化防火墙和IPsec VPN功能，SD-WAN内置安全功能还可以包括入侵防御系统、URL和内容过滤、恶意软件检测和DDoS防护等，提供多维度安全保障，丰富报表便于安全事件回溯。
四、总结与建议
4.1. 研究总结
近年来，SD-WAN发展势头强劲，整个证券行业的热情也持续高涨。SD-WAN的发展对于网络服务商的组网型业务有一定的影响，特别是对于电信运营商的专线业务。
SD-WAN广域网互联可提供安全隔离的点到点、点到多点及多点到多点的专享连接服务。可满足证券行业差异化的组网需求，为整个行业提供组网便捷、体验优异、运维便利、质优价廉的广域网互联服务，实现广域网多点间互联，灵活组网以及便捷的远程管理等丰富的增值服务。
未来，SD-WAN +5G结合将是证券行业广域网互联的重要发展方向。5G能力和SD-WAN终端接入结合起来，实现行业超大带宽、超低时延、高速连接的能力，为整个行业提供更优的业务体验。
4.2.政策建议
目前阶段，SD-WAN作为广域网互联的一种新型连接方式，其技术还在不断发展中。证券行业不可轻易放弃现有业务质量保证的专线，建议可部署混合网络，即在保留原有私有专线的传送关键数据的基础上，根据业务优先级，将部分相对不重要的业务使用SD-WAN技术动态迁移到公共宽带网络，甚至是无线LTE网络上。
SD-WAN作为一种具有较高价值广域网技术，目前已逐渐在金融行业有较多的落地案例，部署场景包含但不限于总部与分支机构互联，跨数据中心互联，跨行业机构互联等。SD-WAN作为证券行业逐步采用一种新兴网络技术，同样需要考虑网络的高性能和高可用，建议主管部门对证券行业应用SD-WAN技术采取鼓励的政策，在满足国家及行业监管相关要求的前提下，尽可能允许证券机构采用SD-WAN技术更先进，稳定性更高，性能和解决方案更优的产品方案，确保证券业务连续性、加速证券行业数字化转型。
声明：本文来自上交所技术服务，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
