行业背景:近年来,商业银行在业务快速发展过程中,积累了海量的客户数据和交易数据;同时,云计算、大数据、互联网等新技术、新业态的发展,使得银行有机会与外部机构加强互联互通建设,获取了大量的资讯、舆情、工商、税务、社保、电信、社交、电商等外部数据。随着数据应用发展及使用效果体现,数据正在成为银行的战略资产和核心竞争力。
面临问题:数据使用过程中发生的诸多数据质量问题,例如:数据认责不明、源系统数据质量不高、数据采集时效低下、数据标准缺失、数据重复加工和存放、数据加工口径不一致、业务部门参与不足等,已影响了数据深层次挖掘应用。
解决办法:数据治理是静态数据转化为高价值资产的必要保障。其中,数据模型、数据标准作为数据治理范畴的基础、重要的两个领域,并且与数据架构设计、信息系统建设过程紧密相关,对于提高数据质量具有根本性作用。
数据模型与数据标准的概念及关系
1.数据模型的概念及作用
概念:数据模型(Data Model)是信息系统建设的基础,是抽象描述现实世界的一种工具和方法,是表示实体、属性及实体之间关系的形式。银行业的数据模型体系一般分为四层,包括:企业级概念数据模型、企业级逻辑数据模型、应用级逻辑数据模型、应用级物理数据模型。银行业较为通用的企业级概念数据模型的主题分类包括:当事人、产品(条件)、协议、账户、事件、渠道、介质、地理位置、资源项。
作用:概念数据模型(CDM)是需求阶段的产物,用于表示业务概念,主要描述业务对象及对象之间的关系。逻辑数据模型(LDM)是设计阶段的产物,将业务概念主要以关系模型进行表达,定义了实体、关系、属性。物理数据模型(PDM)是实现阶段的产物,描述数据在存储介质上的组织结构,结合具体数据库系统的特性,对逻辑模型进行物理化设计。完整、稳定、高质的数据模型有利于统一业务概念、促进信息整合、提速应用开发、提高应用开发质量,是保证数据完整性、一致性和准确性,实现数据产生、集成、整合、共享的基础。
2.数据标准的概念及作用
概念:数据标准是指对银行关键性、共享类数据的业务属性、技术属性的规范性定义。业务属性明确数据的名称、定义、规则、口径等业务特征,保证全行对数据的统一认知和规范使用。技术属性明确数据的格式、长度、类型、取值范围等技术特征,为信息系统的建设提供指导和约束。银行业的数据标准体系一般是由基础数据标准和指标数据标准构成。基础数据标准是指业务流程中直接产生的, 未经过加工和处理的基础业务信息。指标数据标准是指按照统计需求、分析规则对基础数据进行加工后的信息,体现为不同粒度的统计数据和评价结果。
作用:数据标准是数据治理的基础性工作,良好的数据标准体系可以增强业务部门和技术部门对数据定义和使用的一致性,有效地指导信息系统开发中的数据定义和设计,有助于银行数据的采集、交换、集成、共享、利用,减少不同系统之间的数据转换和清洗工作。数据标准化程度越高,系统自动化处理能力越强,信息共享程度越强,数据应用成本越低,数据质量越高,而数据质量直接关系到产品质量和服务质量。
数据模型与数据标准的关系
数据模型和数据标准作为数据治理的基础领域,两者之间是存在天然的联系。
首先,数据标准是数据模型设计的基础和参照。数据标准对数据模型设计,特别是逻辑数据模型和物理数据模型设计,起着指导和约束作用。数据标准化的实质是将银行信息系统中的实体及其属性进行标准化和规范化。在信息系统建设中,技术部门应采取必要手段保证系统数据模型对数据标准的合规引用,遵循数据标准规范。其中在开发阶段,技术部门应保证输入/输出数据、界面要素、数据库字段、配置参数、系统交换接口等遵循相关数据标准,满足标准的定义、格式、长度、取值范围等要求。如果将数据模型比喻为“舟”,承载着数据,那么数据标准就像“罗盘”,指引着“舟”的前行。
其次,数据模型可以促进数据标准的优化改进。随着信息系统大规模建设,信息交换与共享需求愈加强烈,数据应用愈加频繁和深入,会发现有更多的数据项需要被纳入到数据标准范畴,从而推动着数据标准体系的完善。
中信银行在数据标准化实践过程中引入了数据字典技术和方法,主要从以下三方面考虑:一是数据标准是针对银行关键、共享类数据项的规范性定义,没有覆盖所有数据项,导致信息系统数据模型设计中部分数据项缺乏数据标准参照;二是数据标准体系由业务部门建立,其计划和节奏不能完全与信息系统建设计划匹配,导致某些信息系统的数据模型设计缺乏数据标准参照;三是信息系统物理模型设计中所参照的某些技术属性(比如字段类型)与具体数据库系统相关,而数据标准无法体现数据库系统的物理特性。数据字典的引入可以很好地解决以上问题。技术部门基于数据标准或根据业务需求建立数据字典,数据模型设计时严格参照数据字典执行(如图所示)。这样,信息系统上线后运行时所产生的数据完全合乎标准规范,从而有利于保持数据在采集、交换、共享、加工、使用等整个生命周期过程中的合规性和一致性,减少甚至避免了数据不必要的清洗和转换,提高了数据质量和可用性。
数据标准在信息系统建设中的贯标方式
数据标准在银行信息系统建设中的贯标方式分为两类:一类是在操作型应用系统(包括渠道服务类、客户管理类、流程管理类、产品服务类、运营管理类等)的模型设计过程实施落地。此类系统是数据产生的源头,若能有效贯标,效果非常理想,对后面的数据整合共享平台及分析型应用系统建设非常有利,为数据采集、交换、共享、分析、应用提供了较好的数据质量保证。另一类是在数据整合平台及分析型应用系统(包括管理分析类、监管报送类、数据服务类等)的模型设计过程实施落地。此类系统非数据源头,在对来自多个源系统的数据进行整合、关联和加工处理过程中,只能依照数据标准对相关数据项进行名称、定义、规则、口径、格式、长度、类型、代码取值等方面的转换。
中信银行主张从数据源头贯标。从控制总体成本投入,保证系统稳定运行角度考虑,中信银行不会仅为贯标而对存量应用系统进行改造,而是将数据标准制订、修订和落地执行工作与新系统建设、存量系统重构或重大改造过程相结合,以求提升总体效率和达到最佳效果。2013年,在新核心系统建设中中信银行尝试数据标准制订和贯标。在此基础上,自2015年、2016年又先后在新一代人力资源系统、统一支付平台、新一代授信业务系统、交易银行系统建设中同步开展了基础数据标准制订和贯标工作,取得了良好效果。
数据标准和数据模型的工具支持
数据标准和数据字典的管理维护、数据模型设计过程以及对数据字典的参照引用等活动,需要开发一整套的数据管控流程和技术工具来支持。为了确保数据治理的规范和要求融入并贯穿于应用系统建设过程中,避免“先建设、后治理”的现象反复发生,2016年10月,中信银行启动了“企业开发工具”项目建设,其中包含了数据标准管理、数据字典管理、数据模型设计、数据接口定义、业务术语和英文词根维护、元数据管理等支持数据治理活动落地的重要功能模块(如图所示)。该工具已于2017年6月开始试点推广,计划于2018年底覆盖我行全部业务系统。
总结
大数据时代下,数据的大规模、多样化、快速实时、内外结合、混合架构等特征,对数据治理提出了更加复杂严峻的新挑战,同时在监管部门的驱动下,银行数据治理的广度和深度不断扩大。中信银行采取积极主动姿态,从战略层面高度重视数据治理工作,已经把数据治理明确写入最新的三年战略规划,纳入了董事会年度报告。中信银行推行主动治理模式,强抓数据模型、数据标准、技术平台等基础设施建设,采取系统建设与数据贯标并举策略,取得了良好效果。开发了企业开发工具,实现了数据标准管理、数据字典管理、数据模型设计的系统化和规范化。中信银行坚信,只有主动夯实数据治理基础领域建设,扎实做好系统建设,重点做好数据模型设计,同时做好数据标准建设并贯标,才能让数据标准变得有价值,最终让数据为银行经营管理带来更大的业务价值。
本文节选自《金融电子化》2018年4月刊
作者:中信银行信息技术管理部 卫东
声明:本文来自金融电子化,版权归作者所有。文章内容仅代表作者独立观点,不代表安全内参立场,转载目的在于传递更多信息。如有侵权,请联系 anquanneican@163.com。