云原生在2020年成为备受瞩目的热词,云原生在确保企业数字化转型中资源快速供给的同时,还能做到敏捷的应用开发、交付运维能力,加速企业的敏捷创新,是企业数字化转型、智能化升级的必经之路。
早期,云原生只是提出了一些相关的技术,包括开源、容器、微服务、编排工具等,并没有给出一个关于云原生的具体定义,各厂商根据自身的理解对云原生进行探索和实践。历经五年的野蛮生长,云原生技术和产业得到了长足的发展,现如今,云原生已被各行业广泛接受,加速进入云原生2.0时代。在这个全新时代,数据作为云原生体系中的重要生产资料,如何发挥出数据最大的价值成为客户迫切需要解决的问题。
传统大数据平台面临的困境
随着各行各业的大数据系统的建立,企业需要从海量数据发掘数据价值服务于客户。而大数据平台,已逐步进入客户的生产系统中,发挥至关重要的作用。伴随云原生概念的火热,业务敏捷性的需求,传统大数据平台在应对时渐露疲态,集中表现在以下三个方面:
1.硬件集采,配置不合理
目前,企业依然以统一采购硬件的方式为主,配置的框架固定,未考虑大数据在不同场景中对资源的不同诉求,例如离线分析高CPU使用率,实时分析高内存和CPU使用率,全文检索高IO等使用服务器资源的特点,造成集采服务器配置与所需配置存在矛盾,易造成资源浪费。
同时,硬件异构,不同厂家的硬件,对于操作系统、大数据软件甚至一个小的工具的异构兼容不统一,造成硬件不可复用,维护管理成本居高不下。
2.手工部署,效率低
大数据部署、调优方案相对复杂,手工部署的步骤多,导致周期长、成本高。从方案设计到部署安装调优完成,往往需要20多个环节,一个30节点规模的集群,至上线交付至少需要1个月。
同时,传统大数据基础环境的安装存在大量重复性操作,例如安装网络、OS、硬盘RAID方案、分区等,手工部署操作不仅容易出错,且效率不高,每天安装速度仅在10-15节点。
3.资源弹性不足
伴随数据量的激增,大数据集群几乎每年都需扩容一次,但传统大数据在扩容时不够敏捷,政企客户在扩容时需先申报,再采购,等设备到位后才进行安装部署扩容,完成整个过程至少需要3个月,超长的等待周期无法满足高速变化的业务诉求。
同时,传统大数据集群的资源独占、不共享,资源弹性不足,在业务高峰时无法借用其他闲置资源,在业务低峰时,无法释放闲置资源,造成一定的资源浪费。
传统大数据走向云原生数据湖
面对传统大数据共有的三大痛点,各大厂商已纷纷利用云化来解决这些问题,理想的云原生数据湖应该具备如下特性:
1.配置标准化,存算分离架构,资源利用率高;
2.集群搭建周期从月将至小时;
3.集群扩容,资源池申请,无需等待。
大数据云化为客户带来敏捷、高效、弹性的便捷云底座,让传统大数据走向云原生数据湖,实现大数据与云计算融合,算力更弹性,管理更敏捷。
为加速政企数字化转型,助力传统大数据向云原生数据湖升级,原FusionInsight HD与华为云MRS强强结合,架构、内核归一,已全面升级到FusionInsight MRS云原生架构,将为客户提供一企一湖、一城一湖的解决方案,具体特性解读请关注12月30日华为云TechWave云原生2.0技术峰会分论坛,华为云FusionInsight首席架构师徐礼锋的主题演讲“华为云FusionInsight MRS云原生数据湖构建一企一湖、一城一湖”,拥抱云原生2.0,赋能“新云原生企业”!

好文章,需要你的鼓励
谷歌推出两款新AI模型:Nano Banana 2 Lite是其最快、最具成本效益的图像生成模型,4秒生成图像,成本仅0.034美元/千像素图;Gemini Omni Flash则支持高质量视频生成与对话式编辑,定价0.10美元/秒。两款模型均已在Google AI Studio和Gemini API平台开放,可串联使用实现从图像到视频的完整多媒体工作流。
香港中文大学(深圳)与字节跳动联合提出FlexiSLM,首个支持动态与可控帧率的语音大模型,在输入输出两端均实现自适应帧合并,6.25赫兹下推理速度提升一倍,语音对话质量超越同规模固定帧率模型。
英国《金融时报》记者萨拉·奥康纳新书探讨人工智能与自动化对工作的冲击。从亚马逊仓库的人机协作到远程视频监控岗位,技术进步带来的不仅是效率提升,更引发对工作尊严的担忧。作者指出,关键问题不在于技术本身,而在于将人类劳动视为可优化系统的管理理念。书中也展现了积极案例:编剧工会罢工争取AI使用规则,荷兰护理工作者自主建立实践模式。未来工作形态仍可由我们塑造。
这项研究提出DataEvolver框架,把被丢弃的"不合格训练图片"转化为改进数据收集策略的反馈,让AI文字图像生成训练数据的构建流程能自我进化,在相同数据量下显著提升文字渲染质量。