Informatica帮助紫金农商银行深挖“数据”价值

日期：2015-01-20 作者：admin 来源：中国财富网推荐：股民学院

——紫金农商银行ODS数据仓库项目建设

使用Informatica产品完成数据的加载、清洗、转换工作显得尤为简单，图形化、流程化设计使维护人员能够快速、顺畅的操作，即使数据源结构发生变化，也不会像以前必须修改大量的程序代码，只需要在PowerCenter中配置一下即可。

——江苏紫金农村商业银行股份有限公司科技信息部项目架构负责人郭亚鹏

江苏紫金农村商业银行是江苏农信体系下57家农商行的一员，总部位于南京，下辖9家一级支行，125家营业网点，员工总数2200余人。和很多中小银行一样，紫金农商银行早已注意到有效利用“数据”对增强自身竞争力的重要性。但是数据本身并不会带来业务价值，如何激活数据、向数据要效益才是他们要解决的首要问题。紫金农商银行于2013年建设了江苏农信体系下首例ODS数据仓库项目，整合托管于省联社的核心系统及外围系统数据，建立统一数据视图，通过统一数据加工，解决了数据有效性和标准化两大基础问题，为全行业务发展、精细化管理、决策及监管提供有力支撑。
面临挑战：数据引发的困扰
紫金农商银行近年来业务快速增长，发展势头良好，精细化管理提上日程。然而其背后掌管全行系统运营的科技信息部却为数据所困扰：业务的快速发展带来了信息系统的不断增加，银行的核心及外围业务系统托管在省联社，省联社每天以数据下发方式反馈全行各种业务数据状况，同时，紫金农商银行也通过中间业务平台建设特色产品，包括理财、财政集中支付、金融便民进村水电煤气代缴费以及公积金、个人消费贷款等。这些不同的管理系统需要频繁导入源数据并抽取各自相关业务数据，数据分散、数据格式不一致、数据关联性无法得到及时体现等现状，导致管理系统建设的难度和复杂性大幅度提升，随着数据规模的增大，管理将出现失控局面。
由于越来越多的应用系统缺乏宏观整合，个人级数据库空前增加，抽数方式和抽数频度也大幅增加，数据的访问显得错综复杂，如果不在体系结构上进行调整，减轻系统负担，数据的“蜘蛛网”问题将越来越严重，从而会产生很多问题，如数据分析的结果缺乏可靠性、数据处理的效率低下、难于将数据转化成有效信息等。
基于此，紫金农商银行需要将业务数据加工整理成有价值的信息，并对这些信息进行快速综合处理分析，做到各条线、各时期的业务信息能够有机、有序联系，以保证信息的高可用性。对各个业务系统数据进行整合，从而形成全行统一数据视图，通过统一数据加工和服务支持银行的管理、运营和决策。2013年，紫金农商银行启动“数据仓库”建设项目，以期切实满足业务分析、管理决策、监管报送等实际需求。
解决之道：搭建统一的数据平台
一个成功的ODS数据仓库项目，第一步就是要进行数据整合，将多源数据进行统一集成并非易事，紫金农商银行需要解决下面的诸多挑战：
Ÿ   较多的数据来源——需要集成核心系统、信贷系统、网银系统、财管系统、国际结算系统等9个数据源系统接入，数据源接口达到320个；
Ÿ   下发数据维护困难——省联社下发数据有全量、变量和增量三种方式，针对每种不同的模式需要进行不同的数据处理，如果下发的核心数据结构发生变化，那么所有的数据导入程序都要修改一番，若没有专业工具，人工维护量很大且很易出错；
Ÿ   数据入库的初步标准化——由于数据散落在各个业务系统中，各系统建设商之间没有统一的开发标准，造成很多参数不一致，需要对数据进行清洗、转换，标准化后统一入库，但是采用手工方式进行数据加载、清洗，工作量太大，并且很少有人能够全部掌握，如遇特殊情况，维护人员请假或者离职，那么系统再次交接维护的难度将加剧；
Ÿ   性能要求——数据入库的性能，目前要求3.5G—4G数据入库小于20分钟，而用传统的人工写存储过程或者程序来实现已经变的越来越困难；
Ÿ   多种数据库之间的数据交互——银行现有DB2、Oracle、MySQL等不同数据库，不同库产的数据也存在交互。
显然，依靠人工处理会大大影响数据的及时性与准确性，紫金农商银行决定搭建统一的数据平台，并明确建设目标确保数据质量，统一数据标准，实现业务数据统一存储、全行共享。他们选择成熟的ETL工具代替人工方式，对不同数据源中的业务数据进行自动抽取和转换，然后经过对这些数据的清理、标准化和整合的过程，将其统一存储到ODS数据仓库中，方便与各应用系统随时进行数据交换，这是获得高质量的标准数据的必经之途。
客户收益：全行业务数据统一管理
紫金农商银行统一数据平台能够与出自他人之手的业务系统完好对接，“无缝”导入全行核心、信贷、国结及财管等业务数据，从而形成全行统一数据视图，并在任何时点下，保持数据的完整性、统一性和规范化，数据质量大幅提升，为银行不同部门、不同业务条线进行数据共享和交换提供支持，并为支撑银行未来对数据更为深度的分析和挖掘服务奠定了基础。该平台的数据使用，涵盖内部管理(如绩效考核、财务等)、业务管理(如客户关系、信用风险等)、外部监管(各类监管报表)以及决策支持等等，是真正全行数据集结、交换的平台，令全行受益。
基于Informatica产品搭建的数据平台，帮助紫金农商银行建立了规范的数据处理流程，优化了系统架构，增强了系统的健康形态，提高了数据加载、清洗、标准化的效率。紫金农商银行ODS数据仓库项目的承建商——神州数码自主研发的ODS_tools工具能够与Powercenter完美结合，缩短从数据转换需求到具体实现之间的距离，可从需求映射EXCEL文件直接生成作业，系统错误日志详细展现在EXCEL表格中，开发人员一目了然较快定位问题。
Informatica产品的使用，节约了运维管理成本，释放了行内开发人员大量数据导入开发工作量。紫金农商银行科技信息部项目架构负责人郭亚鹏介绍：在手工编程阶段，每次导入数据都需要2-3小时，而现在半小时左右即可完成全部任务，开发人员不需要始终关注导入过程，只在系统EXCEL表格中有报错提醒时及时修改即可，他们能够将更多时间投入到更有价值的新程序开发、数据分析中。
不仅如此，对高管而言，管理企业如同驾驶飞机，信息反馈准确、值得信赖的“仪表盘”能让人产生“一切尽在掌握”之感，正确把握市场航向，快速做出合理决策。在ODS数据仓库项目中，紫金农商银行还引入了“管理驾驶舱”系统，高管们可以通过全景、高级、完整的数据视图，进行经营分析和风险预警，更有效地支持管理决策。
Informatica技术：成熟的ETL方案实现数据整合
在仔细分析数据仓库项目建设需求后，紫金农商银行认为他们选择的ETL方案必须是一款成熟的产品，并且满足易用性、可用性、兼容性、高可扩展以及高开发效率等要求，这也是建设数据平台需要突破的技术难点。他们综合比较、测试了一些知名厂商的ETL产品，最终选定了InformaticaPowerCenter产品，进行全行业务数据的抽取、转换、加载和整合。
在试用InformaticaPowerCenter时，郭亚鹏发觉产品在大数据处理上的并发性及性能较高，并且产品易上手，图像化安装和开发、流程化设计使维护人员能够快速、顺畅的操作，即使数据源结构发生变化，也不会像以前必须修改大量的程序代码，只需要在PowerCenter中配置一下即可。此外，他还对产品的稳定性非常赞赏，长时间使用性能也不会降低。当然，让紫金农商银行锁定Informatica产品的一个重要原因，是神州数码自主研发的ODS_tools工具能够快速生成Informatica任务，使开发工作量大为缩减。
作为一个核心数据整合引擎，InformaticaPowerCenter提供了广泛的跨平台覆盖能力，支持多种格式的数据源，能够把不同来源、格式、特点性质的数据有机整合起来。紫金农商银行的核心系统环境包含了各种主要数据库类型，以及各种版本，从DB2、Oracle到MySQL、文本文件，产品能够对各系统之间的数据进行梳理、集成与整合，实现了跨系统的数据采集，降低了数据抽取的复杂性。
业务的快速发展带来数据量的成倍增长，对不同来源的业务数据抽取、转载和标准化工作将更加任重道远，作为江苏农信市场建设的首例数据仓库项目，其所将产生的辐射影响与示范效用不言而喻。紫金农商银行这家区域性商业银行，正在鉴机识变，谋划长远，他们对数据价值的挖掘才刚刚开始!