云原生在2020年成为备受瞩目的热词,云原生在确保企业数字化转型中资源快速供给的同时,还能做到敏捷的应用开发、交付运维能力,加速企业的敏捷创新,是企业数字化转型、智能化升级的必经之路。
早期,云原生只是提出了一些相关的技术,包括开源、容器、微服务、编排工具等,并没有给出一个关于云原生的具体定义,各厂商根据自身的理解对云原生进行探索和实践。历经五年的野蛮生长,云原生技术和产业得到了长足的发展,现如今,云原生已被各行业广泛接受,加速进入云原生2.0时代。在这个全新时代,数据作为云原生体系中的重要生产资料,如何发挥出数据最大的价值成为客户迫切需要解决的问题。
传统大数据平台面临的困境
随着各行各业的大数据系统的建立,企业需要从海量数据发掘数据价值服务于客户。而大数据平台,已逐步进入客户的生产系统中,发挥至关重要的作用。伴随云原生概念的火热,业务敏捷性的需求,传统大数据平台在应对时渐露疲态,集中表现在以下三个方面:
1.硬件集采,配置不合理
目前,企业依然以统一采购硬件的方式为主,配置的框架固定,未考虑大数据在不同场景中对资源的不同诉求,例如离线分析高CPU使用率,实时分析高内存和CPU使用率,全文检索高IO等使用服务器资源的特点,造成集采服务器配置与所需配置存在矛盾,易造成资源浪费。
同时,硬件异构,不同厂家的硬件,对于操作系统、大数据软件甚至一个小的工具的异构兼容不统一,造成硬件不可复用,维护管理成本居高不下。
2.手工部署,效率低
大数据部署、调优方案相对复杂,手工部署的步骤多,导致周期长、成本高。从方案设计到部署安装调优完成,往往需要20多个环节,一个30节点规模的集群,至上线交付至少需要1个月。
同时,传统大数据基础环境的安装存在大量重复性操作,例如安装网络、OS、硬盘RAID方案、分区等,手工部署操作不仅容易出错,且效率不高,每天安装速度仅在10-15节点。
3.资源弹性不足
伴随数据量的激增,大数据集群几乎每年都需扩容一次,但传统大数据在扩容时不够敏捷,政企客户在扩容时需先申报,再采购,等设备到位后才进行安装部署扩容,完成整个过程至少需要3个月,超长的等待周期无法满足高速变化的业务诉求。
同时,传统大数据集群的资源独占、不共享,资源弹性不足,在业务高峰时无法借用其他闲置资源,在业务低峰时,无法释放闲置资源,造成一定的资源浪费。
传统大数据走向云原生数据湖
面对传统大数据共有的三大痛点,各大厂商已纷纷利用云化来解决这些问题,理想的云原生数据湖应该具备如下特性:
1.配置标准化,存算分离架构,资源利用率高;
2.集群搭建周期从月将至小时;
3.集群扩容,资源池申请,无需等待。
大数据云化为客户带来敏捷、高效、弹性的便捷云底座,让传统大数据走向云原生数据湖,实现大数据与云计算融合,算力更弹性,管理更敏捷。
为加速政企数字化转型,助力传统大数据向云原生数据湖升级,原FusionInsight HD与华为云MRS强强结合,架构、内核归一,已全面升级到FusionInsight MRS云原生架构,将为客户提供一企一湖、一城一湖的解决方案,具体特性解读请关注12月30日华为云TechWave云原生2.0技术峰会分论坛,华为云FusionInsight首席架构师徐礼锋的主题演讲“华为云FusionInsight MRS云原生数据湖构建一企一湖、一城一湖”,拥抱云原生2.0,赋能“新云原生企业”!
好文章,需要你的鼓励
他认为,AI的发展和影响被普遍低估,它所带来的变革将远超目前人们的认知,AI的进展速度异常迅猛,每次的技术飞跃都比人们预期的
GPU应用已深刻影响各类业务(搜广推、音视频、MMU、风控等)场景,快手内部GPU在线服务及离线训练任务均完成云原生化迁移。
目前华为 Mate X6 折叠屏手机仍然按照华为近年来的宣传管理,官方并没有就具体配置方案进行大张旗鼓的宣发,配置爆料信息也同样较