坚持“理念领先、技术领先、实践领先”,践行数字中国理想,为信创事业贡献力量!本期为大家带来的是基于“鲲鹏”底座,神州鲲泰在金融行业——交通银行数据仓库算力底座打造项目中的实践。
一、项目背景
近年来,随着交通银行的手机银行业务迅速发展,生产系统和管理系统产生的数据呈几何级数增长,传统的数仓分析方法和竖井式架构已无法满足业务需求,且成本越来越高,亟需更优化的方法和工具。随着数字社会建设步伐加快,新一轮的金融市场开放再次换挡加速。交通银行在金融行业率先进行测试验证工作,对基础架构进行改造,对业务系统和管理系统进行下沉。而作为产品及方案提供商,不仅要求提供稳定可靠的产品,同时具备给予客户进行业务和系统的规划能力,达成监管机构的目标要求。
二、解决方案
交通银行搭建了1000+节点的FusionInsight+DWS大数据集群,对现有多个数据平台进行整合重构,并借助产品的新版本能力,重新规划“一湖一仓”的数据架构体系,通过湖仓融合,实现数据同宗同源;通过实时引擎,实现海量数据实时更新。
其中,交通银行数据仓库(DWS)是企业级的大规模并行处理关系型数据库。其采用MPP(Massive Parallel Processing)架构,支持行存储与列存储,提供PB(Petabyte,2的50次方字节)级别数据量的处理能力。该数据仓库采用神州鲲泰R722服务器作为数据底座,该服务器是基于鲲鹏处理器平台全新开发的一款具有广泛用途的双路服务器,其在确保卓越计算性能的同时,支持超大容量的本地存储,轻松应对数据的快速增长,提供灵活、强大的资源扩展能力,在性能和功耗之间取得了完美平衡,真正实现了高效计算和绿色节能。
神州鲲泰R722服务器
交通银行数据仓库(DWS)在核心技术上跟传统数据库相比有巨大优势,可以解决数据处理性能问题,为超大规模数据管理提供高性价比的通用计算平台,用于支撑各类数据仓库系统、BI(Business Intelligence)系统和决策支持系统,统一为上层应用的决策分析等提供服务,其具体应用于以下场景:
详单查询
具备PB级数据负载能力,可以适用于安全、电信、金融、物联网等行业的详单查询业务。内存分析技术满足海量数据边入库边查询。
数据仓库
具备百TB级数据支撑能力,可以高效处理百亿行多表join,适用于操作数据存储ODS(Operational Data Store)、数据仓库EDW(Enterprise Data Warehouse)、数据集市DM(Data Mart)。
混合负载
基于海量数据查询统计分析能力与事务处理能力,行列混存技术同时满足OLTP与OLAP混合负载场景。
大数据分析
支持结构化数据PB级分析能力。分布式并行数据库集群满足PB级结构化大数据的分析能力。
三、价值效益
提供交通银行数据统一管理
利用从各种数据源提供的数据,管理人员将不再需要凭着有限的数据做出商业决策。此外,“数据仓库及智能BI可直接用于市场细分、库存管理、财务管理、销售这样的业务流程中。”
提高效率和节省成本
通过数据仓库,可以建立交通银行数据模型,这对于的交通银行的销售、成本控制与收支分配有着重要的意义,极大的节约了企业的成本,提高了经济效益,同时,用数据仓库可以分析企业人力资源与基础数据之间的关系,可以用于返回分析,保障IT系统的最大化利用。
提高数据的质量和一致性
数据仓库的实施包括将数据从众多的数据源系统中转换成共同的格式,便于数据的处理,提高准确性。
提供历史的智慧
交通银行数据仓库储存了大量的历史数据,可以通过分析不同的时期和趋势来做出对未来的预测。