文 / 金融信息化研究所 庄文君 王帅强 赵义斌 从平平
近年来,金融业不断加大我国数据库技术产品应用的广度和深度,无论是传统集中式数据库、还是新型分布式数据库,在各自适用的场景中推动金融业务创新发展,特别是部分主要金融机构实现了核心系统的应用突破,为全行业树立标杆、积累经验。后续,产学研用会进一步加大协作力度,以产业发展支撑金融应用、以应用创新拉动产业发展,形成发展合力,不断完善金融业数据库应用生态,切实提升金融业数据库供应链安全水平。
金融业数据库供应链安全水平逐步提升
1.金融机构加快我国数据库产品的应用实践
近年来,我国数据库厂商不断加大数据库产品的研发投入,加强与金融机构联合攻关,逐步打造适用金融业务场景的数据库技术产品,为金融机构提供更多选择,有效改善金融业数据库供应链安全的不利局面。调研发现,金融机构在核心系统引入华为GaussDB和OpenGauss、中兴GoldenDB、腾讯TDSQL、达梦数据库、蚂蚁集团OceanBase、阿里PolarDB及平凯星辰TiDB等数据库产品;在办公管理及一般系统中,除了核心系统用到的产品外,还用到阿里RDS/ADB、人大金仓KingbaseES、巨杉SequoiaDB、南大通用Gbase等。同时部分金融机构自研的数据库也实现在核心及其它系统中的应用,如工商银行iSQL、光大银行EverDB等。
基于“先外围、后核心”的实施策略,不同类型金融业务系统在使用我国数据库产品的进展存在差异。其中,办公系统和一般系统使用我国数据库产品的机构数量已经超过40%,而核心系统由于牵一发而动全身,金融机构普遍采取稳妥策略推进。详细情况如图1所示。
图1 不同类型系统使用我国数据库产品的机构数量占比图
另外,从金融业不同领域看,我国数据库产品应用进展差异也比较明显。在持续加大创新、深入推动分布式转型中,我国数据库产品在银行业实现快速应用,占比明显高于证券业和保险业。详细情况如图2所示。
图2 金融业不同领域我国数据库产品应用占比图
在银行业细分领域中,我国数据库产品使用进展差异同样明显。其中新兴互联网银行全面使用母公司自研数据库产品,实现了我国数据库产品广泛应用;国有大型银行、股份制银行、直辖市农商行及省联社也取得较为明显进展;城商行及民营银行进展较慢。详细情况如图3所示。
图3 银行业不同类型机构我国数据库产品应用占比图
2.多种类型数据库满足不同金融应用场景需求
在推动我国数据库产品应用实践中,金融机构根据业务需求、自身技术积累、技术产品发展情况、服务能力等逐步形成了包括集中式数据库迭代更新、新型分布式数据库应用突破及云数据库应用探索等三种模式。
(1)集中式数据库仍发挥重要作用。集中式数据库以高效的数据存储效率和优异的系统稳定性首先在我国金融业得到广泛应用。虽然近几年新型数据库产品在金融业快速应用,但集中式数据库目前总体占比仍高达89%。银行业由于新型数据库应用进展快,集中式数据库占比相对更低,证券及保险业依然保持较高占比。详细情况如图4所示。
图4 金融业集中式数据库应用占比图
我国集中式数据库产品具有自然的技术继承性、技术相对成熟、初步构建了应用生态体系、实施相对容易,适合业务量适中的交易类业务场景,成为金融机构的自然选择。在集中式数据库应用实施中,金融机构利用集群和远程容灾方案实现数据库的高性能和高可用性,同时研发并检验数据库应用的相关工具,积累可借鉴的案例和经验。
(2)分布式数据库成为新选择。现代金融业务系统海量数据、高并发、实时处理等需求推动新一代分布式应用系统建设。由于分布式数据库具有计算与存储分离、弹性扩展、高可用等优势,增强系统高可用和容灾能力,在金融IT架构转型中,实现快速应用。其中银行业在分布式数据库领域应用进展较快。详细情况如图5所示。
图5 金融业及不同领域分布式数据库应用占比图
目前,分布式数据库在金融机构新一代分布式平台建设和湖仓一体的数据分析平台构建中加快应用,满足金融应用系统PB级海量数据存储和百万级TPS/QPS高并发的处理要求,有效降低业务响应时间,摆脱对专有硬件依赖,支持金融业务创新发展。
(3)云数据库应用崭露头角。金融行业IT基础设施上云已成为趋势,全球头部云厂商依托云技术优势,重构数据库软件架构,推动云数据库技术发展不断成熟,而且云数据库在金融业应用中可发挥快速弹性、全栈高可用部署及高效智能运维的独特优势。我国金融行业逐步开展云数据库应用探索,并成功实现案例落地,详细情况如图6所示。
图6 金融业及不同细分领域云数据库应用占比示意图
从应用实践看,云数据库适用的业务场景具有可用性要求高、时效性高、业务流量变化大等特点,可支持混合负载应用,具有较高的性价比。目前,形成两种类型的云数据库建设方案:一是云数据库与云底座全栈建设,更易发挥云优势;二是云底座与云数据库分层建设,数据库选型更灵活。
金融业数据库发展面临的机遇与挑战
1.业务创新和产业支撑为金融业数据库发展创造机遇
一是传统国际主流商用数据库在技术基因与架构上已难以适应我国数字金融快速发展需要。因其普遍只能纵向扩展而无法横向扩展,导致数据量和并发访问量无法满足快速发展的业务需求。采用传统集中式部署架构,也难以满足金融机构对数据库云化或者云上云下混合部署需要。并且,数字金融时代风险管理、决策分析等场景对图数据库、时序数据库的需求迫切,国际主流商用数据库很少将我国金融机构的应用需求纳入到产品版本规划中,难以适应我国数字金融业务快速发展的要求。
二是我国数据库产业基本具备支持金融业务创新发展的能力。我国数据库在产品门类和技术水平上实现快速发展,已涵盖关系型、键值、空间、列簇、时序、搜索、图等多个门类,有数百种数据库产品。其中我国代表性集中式数据库产品重视与国际主流商用数据库兼容,核心技术不断取得突破,攻克国际主流厂商独有的缓存融合和多点写入等关键核心技术,已在不同行业和领域得到大量应用。我国分布式数据库使用中间件加单机、原生分布式及分布式共享存储等不同架构,采用横向扩容、数据多副本和全局时钟技术,利用行列混合存储、并行计算、向量化引擎等技术配合智能识别SQL类型等,在数据存储和处理能力上取得重大突破,具备支持HTAP的混合负载能力。
2.我国数据库产业亟需弥补自身存在的短板
一是我国数据库技术产品的成熟度以及在适应金融业务需求方面还存在不足。我国数据库产品在SQL优化器、存储过程、列存和行列混存、共享集群、可观测性等核心技术仍有待沉淀和突破。与金融业务应用适配、兼容第三方工具及辅助软件等方面还需不断提升和改进,特别是新型分布式数据库与金融应用场景还缺乏深度融合,与现有主流数据库的兼容性不够,应用改造和迁移成本较高。由于架构复杂、集群规模庞大及技术多样化导致运维管理困难,数据库运维自动化和智能化水平不高,难以满足应用需要。
二是我国数据库厂商服务能力与安全可控能力不强。由于我国数据库产业还处于快速发展期,规模普遍不大,服务人员数量有限,应用生态还不健全,主要依靠原厂技术人员支撑项目落地实施,无论服务覆盖范围还是服务质量都难以满足大规模应用需要。特别是金融行业对服务响应时间、服务质量有较高要求,对我国数据库厂商的服务能力提出更大挑战。另外,当前我国完全自主研发的数据库厂商较少,在关键技术上跟随国际主流数据库产品或直接借鉴国际开源技术较为普遍。通过模仿或引用开源技术虽然可以快速构建可交付的产品,但由于产品架构庞大复杂,在解决实际场景问题时不能快速深入底层源代码,故障分析能力和技术风险防范能力较低。
三是我国数据库产业发展碎片化问题突出。目前我国有数百家数据库厂商,但仅部分头部企业掌握内核自研能力,研发投入较大,拥有较好的开发者生态,可以保证产品长期稳定发展,而其他大部分厂商的产品还是基于开源版本开发,产品的竞争力难以保障,普遍缺乏产品的发展蓝图和规划,没有清晰的产品路线图,缺乏长期持续发展的机制。因此,我国数据库产品的市场版图呈现碎片化态势,虽然数据库厂商众多,但“小、散、弱”的问题突出。
提升金融业数据库供应链安全水平发展建议
为切实提升金融业数据库供应链安全水平,需要数据库企业、金融机构、学术研究机构、标准与检测认证机构等协同发力,共同弥补数据库技术产品存在的不足,加快完善我国金融业数据库应用生态。
一是从核心技术突破、功能健全、性能提升、适配兼容、改善用户体验等多方面提升数据库产品成熟度,全面满足金融业务发展需求。
二是尽快提升对数据库底层技术机制、源代码的掌控能力,加强国际主流数据库开源软件在我国分支的建设,打造我国有影响力的自主开源社区,强化开源风险联合防范。
三是金融机构选择合理的技术路线和适用产品,持续推动我国数据库产品在金融业应用的广度和深度。
四是扩大我国主要数据库技术产品认证范围和影响力,加大数据库产业、金融业、高校对数据库人才的培养力度,不断夯实金融业数据库应用生态的人才基础。
注:
本文是《金融业数据库供应链安全发展报告(2022)》的精简版。报告由金融信息化研究所联合主要金融机构和数据库厂商编写,其中包括华为云、中兴通讯、工商银行、农业银行、中国银行、建设银行、交通银行、邮储银行、中信银行、光大银行、招商银行、浦发银行、上海银行、北京农商银行、四川农信、深交所、华泰证券、申万宏源、浙商证券、中国人寿、中国太平洋保险、国金认证、武汉达梦、超聚变、腾讯云、阿里云、蚂蚁集团、人大金仓、广州巨杉、平凯星辰。
声明:本文来自金融电子化,版权归作者所有。文章内容仅代表作者独立观点,不代表安全内参立场,转载目的在于传递更多信息。如有侵权,请联系 anquanneican@163.com。