近日,招商银行成功举办数据仓库Teradata平台下电仪式,正式完成从传统数据仓库平台向华为云数据仓库GaussDB(DWS)的全部迁移,成功建立了国内首个大规模金融云数仓,有效支撑了“人人用数”大数据发展战略落地。招商银行在此次迁移中实现数据仓库云化升级和自主可控,同时全面提升数据仓库平台容量和处理能力,为充分释放数据资产价值、扎实赋能业务打下坚实的基础,进一步夯实数字化转型底座。
招商银行数据仓库平台主要应用于批量数据加工处理、数据实验室探索及交互式自助分析等场景。随着招商银行数字化转型的快速推进,数据采集处理规模大幅增长,逐步呈现“人人用数,人人都是数据分析师”的数据应用模式,对数据平台容量、算力、稳定性及可用性等提出更高要求。
传统数据仓库一体机技术方案存在着生态环境封闭、维护成本高、硬件故障维修复杂、扩容停机时间长等诸多问题,已不能满足快速、平滑的扩容需求。在此背景下,招商银行总行信息技术部启动新MPP数据仓库平台选型,经过多轮测试和考量,最终采用华为云GaussDB(DWS)统一架构,并同华为云成立联合创新实验室,共同构建具有招商银行特色的数据仓库平台。
招商银行数据仓库的数据量规模达到PB级别,单一平台进行如此巨大规模的数据和程序迁移,在金融行业非常少见。项目组充分论证迁移方案,制定了基础数据模型先迁,分批次迁移应用集市的总体策略。在设备到货延迟、主机上云项目工期重叠引起源数据大量变动等挑战下,项目组采取仿真环境数据验证、优化人力资源配置、精细化项目过程管理等措施,并研制出一整套自动化迁移验证工具,大幅提升迁移效率,圆满完成云数仓迁移工作。
迁移完成后,招商银行业务用户享受到了更轻盈的用数体验:
查询速度快人一步。批量数据处理完成进度整体提前2小时以上,业务用户查询时长缩短75%,数据仓库服务效能显著提升。
用数不间断,人人都是VIP。集群扩容停机时长由12-24小时降至2-4小时,停机追批时长由1-2天降至业务零感知,平台运维能力大幅提升,用户随时取数用数,不再受维护和跑批的影响。
数据丝滑迁移,替换无感。在新旧数仓替换过程中的并行期,项目组通过自研工具实时数据校验,缩短数据核对间歇,实现一分钟内完成重要数据在新旧平台中的数据核对,让用户对替换过程无感知。
强大的平台性能是数字化转型不断深入的底气。为此,突破封闭技术路线,引入灵活扩展架构,是新一代数据仓库提升平台性能的必然选择。
依托云原生特性,扩展灵活从容。从技术选型出发,华为云数据仓库GaussDB(DWS)打破原有一体机架构封闭的技术路线,基于华为云Stack底座构建开放型技术架构,支持资源弹性管理和按需扩展。在线扩容的重分布速度由20TB/h提速至65TB/h,在线备份速度由37TB/h提速至150TB/h,缩短平台操作时间窗口,业务快速享用平台扩展后的更高算力。
分布式优化技术,增强系统性能。充分利用多核计算资源,采用多层级、全并行的分布式架构,运用查询重写、计划生成、倾斜处理等多项核心技术,全面提升集群处理性能,实现高并发交互式查询秒级响应,并支撑业务上千并发联机查询。
分析与计算集群分离,降低负载冲突。根据业务发展需要,项目组将原计算集群拓展为零售集群和批发中后台集群,并为业务用数建设专属分析集群,在扩展算力的同时实现业务分析与计算分离。华为云数据仓库GaussDB(DWS)为分析师提供7×24小时随需随用的数据服务,无需等待批量处理负载降低,延长数据服务时长。
招商银行云数仓全面上线标志着其数据仓库平台能力上升到一个新台阶,同时也为金融行业数据仓库迁移提供了实践借鉴。
面向未来,华为云GaussDB(DWS)将继续探索金融应用场景,全面推广数据工具平台,持续优化平台性能和体验,为打通企业数字化转型最后一公里提供坚实的平台保障。
好文章,需要你的鼓励
新加坡人工智能机构与阿里云发布全新大语言模型Qwen-Sea-Lion-v4,专门针对东南亚语言和文化特色进行优化。该模型结合阿里云Qwen3-32B基础模型和大量东南亚地区数据集,在东南亚语言模型评估榜单中位居开源模型首位。模型支持119种语言,能在32GB内存的消费级笔记本上运行,采用字节对编码技术更好处理非拉丁文字,并具备3.2万词元上下文长度,可执行文档级推理和摘要任务。
这项由CMU与亚马逊AGI联合完成的研究揭示了当前AI系统的重大缺陷:即使最先进的模型也不知道何时该说"我不知道"。研究团队开发的RefusalBench评估系统通过176种语言操作技巧动态生成测试案例,发现顶级AI在多文档任务中的拒绝准确率低于50%。这项研究不仅提供了标准化测试工具,更为构建诚实可靠的AI系统指明了方向。
AI智能体是下一代业务自动化工具,不仅能对话交流,还能执行复杂任务。与ChatGPT聊天机器人不同,它们可在最少人工干预下规划并完成工作。文章介绍了五个高影响力应用:自动化客户服务解决方案、销售CRM管理、合规自动化、招聘筛选与排程、市场情报报告。这些应用都具有重复性工作流程、依赖结构化数据、遵循可预测规则等特点,能够释放员工宝贵时间用于更有价值的工作。
这项由中国人民大学联合腾讯开发的LaSeR技术,发现了AI在生成答案最后一刻会无意中透露对答案质量的评估。通过观察这个"最后一词效应",研究人员开发出了一种让AI高效进行自我评估的方法,在几乎不增加计算成本的情况下,大幅提升了AI的自我验证能力,为构建更可信的AI系统开辟了新路径。