近日,招商银行成功举办数据仓库Teradata平台下电仪式,正式完成从传统数据仓库平台向华为云数据仓库GaussDB(DWS)的全部迁移,成功建立了国内首个大规模金融云数仓,有效支撑了“人人用数”大数据发展战略落地。招商银行在此次迁移中实现数据仓库云化升级和自主可控,同时全面提升数据仓库平台容量和处理能力,为充分释放数据资产价值、扎实赋能业务打下坚实的基础,进一步夯实数字化转型底座。
招商银行数据仓库平台主要应用于批量数据加工处理、数据实验室探索及交互式自助分析等场景。随着招商银行数字化转型的快速推进,数据采集处理规模大幅增长,逐步呈现“人人用数,人人都是数据分析师”的数据应用模式,对数据平台容量、算力、稳定性及可用性等提出更高要求。
传统数据仓库一体机技术方案存在着生态环境封闭、维护成本高、硬件故障维修复杂、扩容停机时间长等诸多问题,已不能满足快速、平滑的扩容需求。在此背景下,招商银行总行信息技术部启动新MPP数据仓库平台选型,经过多轮测试和考量,最终采用华为云GaussDB(DWS)统一架构,并同华为云成立联合创新实验室,共同构建具有招商银行特色的数据仓库平台。
招商银行数据仓库的数据量规模达到PB级别,单一平台进行如此巨大规模的数据和程序迁移,在金融行业非常少见。项目组充分论证迁移方案,制定了基础数据模型先迁,分批次迁移应用集市的总体策略。在设备到货延迟、主机上云项目工期重叠引起源数据大量变动等挑战下,项目组采取仿真环境数据验证、优化人力资源配置、精细化项目过程管理等措施,并研制出一整套自动化迁移验证工具,大幅提升迁移效率,圆满完成云数仓迁移工作。
迁移完成后,招商银行业务用户享受到了更轻盈的用数体验:
查询速度快人一步。批量数据处理完成进度整体提前2小时以上,业务用户查询时长缩短75%,数据仓库服务效能显著提升。
用数不间断,人人都是VIP。集群扩容停机时长由12-24小时降至2-4小时,停机追批时长由1-2天降至业务零感知,平台运维能力大幅提升,用户随时取数用数,不再受维护和跑批的影响。
数据丝滑迁移,替换无感。在新旧数仓替换过程中的并行期,项目组通过自研工具实时数据校验,缩短数据核对间歇,实现一分钟内完成重要数据在新旧平台中的数据核对,让用户对替换过程无感知。
强大的平台性能是数字化转型不断深入的底气。为此,突破封闭技术路线,引入灵活扩展架构,是新一代数据仓库提升平台性能的必然选择。
依托云原生特性,扩展灵活从容。从技术选型出发,华为云数据仓库GaussDB(DWS)打破原有一体机架构封闭的技术路线,基于华为云Stack底座构建开放型技术架构,支持资源弹性管理和按需扩展。在线扩容的重分布速度由20TB/h提速至65TB/h,在线备份速度由37TB/h提速至150TB/h,缩短平台操作时间窗口,业务快速享用平台扩展后的更高算力。
分布式优化技术,增强系统性能。充分利用多核计算资源,采用多层级、全并行的分布式架构,运用查询重写、计划生成、倾斜处理等多项核心技术,全面提升集群处理性能,实现高并发交互式查询秒级响应,并支撑业务上千并发联机查询。
分析与计算集群分离,降低负载冲突。根据业务发展需要,项目组将原计算集群拓展为零售集群和批发中后台集群,并为业务用数建设专属分析集群,在扩展算力的同时实现业务分析与计算分离。华为云数据仓库GaussDB(DWS)为分析师提供7×24小时随需随用的数据服务,无需等待批量处理负载降低,延长数据服务时长。
招商银行云数仓全面上线标志着其数据仓库平台能力上升到一个新台阶,同时也为金融行业数据仓库迁移提供了实践借鉴。
面向未来,华为云GaussDB(DWS)将继续探索金融应用场景,全面推广数据工具平台,持续优化平台性能和体验,为打通企业数字化转型最后一公里提供坚实的平台保障。
好文章,需要你的鼓励
很多人担心被AI取代,陷入无意义感。按照杨元庆的思路,其实无论是模型的打造者,还是模型的使用者,都不该把AI放在人的对立面。
MIT研究团队提出递归语言模型(RLM),通过将长文本存储在外部编程环境中,让AI能够编写代码来探索和分解文本,并递归调用自身处理子任务。该方法成功处理了比传统模型大两个数量级的文本长度,在多项长文本任务上显著优于现有方法,同时保持了相当的成本效率,为AI处理超长文本提供了全新解决方案。
谷歌宣布对Gmail进行重大升级,全面集成Gemini AI功能,将其转变为"个人主动式收件箱助手"。新功能包括AI收件箱视图,可按优先级自动分组邮件;"帮我快速了解"功能提供邮件活动摘要;扩展"帮我写邮件"工具至所有用户;支持复杂问题查询如"我的航班何时降落"。部分功能免费提供,高级功能需付费订阅。谷歌强调用户数据安全,邮件内容不会用于训练公共AI模型。
华为研究团队推出SWE-Lego框架,通过混合数据集、改进监督学习和测试时扩展三大创新,让8B参数AI模型在代码自动修复任务上击败32B对手。该系统在SWE-bench Verified测试中达到42.2%成功率,加上扩展技术后提升至49.6%,证明了精巧方法设计胜过简单规模扩展的技术理念。