文 | 中国银行(卢森堡)信息科技部 魏来
欧盟《通用数据保护条例》或称《一般数据保护条例》(以下简称“GDPR”)已于2018年5月25日正式实施。GDPR的正式实施,对于欧盟国家个人数据的收集管理、数据的可见性以及使用限制,即个人数据的保护制定了原则和规范。同时,GDPR合规性不受自然地理的限制,只要存储和处理了欧盟数据主题的数据,都必须遵守该条例。以此为基础,当前包括金融机构在内,尤其是置身于欧盟国家的B2B、B2C等各类中外资机构和企业,都制定了相应的数据安全管理办法和数据使用操作流程以符合相应的监管要求。此外,大数据时代背景下的数字化转型、社会数字化迅速发展,这些存储和处理了包括个人数据在内的金融机构或企业在改善业务决策、总部集团并表、内部精细化管理、外部监管报送、经营业绩分析并可视化、建立客户单一视图和客户画像等方面都有各类基于数据沉淀、深入分析和充分挖掘的数据应用需求。
本文并不针对GDPR条例进行政策解读和深入分析,仅基于GDPR的合规要求,针对企业内部并非高数据量和高并发的通用需求场景,结合目前主流应用体系架构,充分利用企业现有资源提升效率、安全可控、优化流程,以实现轻量级企业数据结果集定时自动生成、并通过企业内部邮件系统,向数据使用的提出方定向完成数据的主动推送功能,提出一种可行性解决方案。
一、基本的数据使用和处理流程
为符合GDPR的合规要求,一般情况下,企业内部的数据使用和处理流程主要包括以下几个方面:首先,前提是数据主体同意在有限的范围和周期内保存数据信息;其次,对于数据使用的提出方,必须明确数据使用用途和时间范围,并承诺数据使用完毕后及时删除,在得到预先制定的审批流程和指定的数据保护官批准后,数据管理方再进行生产数据向测试环境的迁移拷贝,按照数据使用提出方的要求生成数据信息,然后通过加密邮件的方式发送给具体的数据需求提出者,并通过电话方式告知加密文件的密码;最后,数据使用提出方在使用完毕后,及时删除数据,数据管理方释放测试环境,抹掉迁移拷贝的生产数据。上述数据处理流程,如果通过建立专用的数据生成和推送服务器,做好相应的配置,针对不同的数据信息自动推送到指定数据使用提出者,日常仅对该服务器做好访问控制和安全策略的管理,不但可以有效提高数据处理能力,也极大地保证了数据传输上的可控性和保密性。
二、基础架构搭建
首先可以确定的是,无论数据和应用的规模如何,传统的两层C/S体系架构作为难扩展、不便维护的应用服务端已经不再适用于目前发展的需要;另外,作为低成本和低门槛的Access+Excel模式,虽然也能解决部分临时性的数据分析和数据需求,但是对于IT部门人员有限、相对业务人员有较高开发要求、数据需求频繁且多变的情况,再加上Access的安全性较差和对SQL语句的支持较弱,至多作为某部门内部应用,而较少采用在企业级应用上,因而也不在此赘述。事实上,对于业务部门透明且简单易用,对于IT部门便于开发维护和易于管理,除使用一些专门的ERP企业管理软件,尤其针对数据量级虽然不大,但是分析统计口径多变且频繁的应用场景,再加上对底层原始数据不能直接访问的管控要求,目前在很多企业内部都是通过使用自主建设的MIS管理信息系统或者数据加工平台,即WEB应用端+主流关系型数据库的B/S部署方式进行数据加工处理和数据展现。其中的应用端无论是采用JSP+Servlet+JavaBean的传统WEB应用体系架构,还是目前最流行的基于J2EE的三层B/S体系架构(如SSH或者SSM),需结合企业的资源情况和应用场景进行最优选择。此外,由于BI商业智能的解决方案被广泛地采纳和使用,可以利用ETL工具将业务系统数据进行抽取、清洗转换和载入,实现基础应用数据的整合;同时,利用数据库自带的数据导出方式,或者选择支持多个数据源和数据结果文件、并且支持与绝大多数流行开发工具接口集成的代表性BI报表软件,例如CrystalReports,配合使用WIN平台的批处理命令、vb
图1 整体架构示意
数据访问层(DAL):SQLServer/Oracle+ETL用于数据处理和作业调度;业务逻辑层(BLL):Tomcat/WebLogic+JDK用于业务逻辑封装;用户展现层(UI):ASP/JSP/报表工具+vb
三、结合具体数据应用的解决方案
例如,有某业务部门提出,针对目前存量的贷款客户,需要根据其贷款期限、贷款种类等信息,提前预判近期贷款到期的客户清单,并且需要在每周一主动预警。首先通过批处理脚本调用SQL命令的方式,完成一系列数据准备后,将该类客户信息以(贷款到期日期-系统当前日期)的顺序排列,并利用SPOOL工具输出至Excel并调用压缩工具完成压缩和加密,然后在批处理脚本中的最后调用vb
另有某业务部门提出,需要不定期通过某个固定的客户清单,对目前存量的所有客户信息数据进行模糊查询和匹配,以筛选命中的客户信息,进行进一步的业务分析。首先向数据使用提出部门提供固定数据格式的客户清单上传和后端数据库载入接口,然后通过配置数据库的触发器功能,一旦发现客户清单发生了更新变化,便触发客户信息扫描程序,匹配出相应的客户清单,最后在批处理脚本中调用第三方的BI报表软件和压缩软件以及发送邮件的vb
配合ETL作业调度的功能,轮询监测应用层数据一旦完成装载和加工就绪,同时将自动化引入数据漂白或者脱敏以降低个人数据泄露的风险,再通过WEB应用程序或者作业调度工具调用数据生成和自动发送的批处理作业,势必更加事半功倍。需要注意的是,在后端数据加工处理和逻辑封装过程中,尽可能地合理建模、做好数据的优化整合,以便IT人员在开发设计WEB端应用和数据信息文件时,简化前端数据加工逻辑,减少前端数据处理压力和资源占用,以提升响应效率。同时还需要谨记,一旦传输完毕,通过自动化的方式及时删除销毁所生成的数据,并定时审计。
另外,配合第三方的BI报表软件使用,对Crystal Reports Ninja加以介绍。以增强代码的可读性和可维护性,这是一个用C#语言,基于Crystal Reports Exporter的完整重写。它是在.NET fr
(注:本文刊登于《中国金融电脑》杂志2019年第4期)
声明:本文来自中国金融电脑,版权归作者所有。文章内容仅代表作者独立观点,不代表安全内参立场,转载目的在于传递更多信息。如有侵权,请联系 anquanneican@163.com。