云原生在2020年成为备受瞩目的热词,云原生在确保企业数字化转型中资源快速供给的同时,还能做到敏捷的应用开发、交付运维能力,加速企业的敏捷创新,是企业数字化转型、智能化升级的必经之路。
早期,云原生只是提出了一些相关的技术,包括开源、容器、微服务、编排工具等,并没有给出一个关于云原生的具体定义,各厂商根据自身的理解对云原生进行探索和实践。历经五年的野蛮生长,云原生技术和产业得到了长足的发展,现如今,云原生已被各行业广泛接受,加速进入云原生2.0时代。在这个全新时代,数据作为云原生体系中的重要生产资料,如何发挥出数据最大的价值成为客户迫切需要解决的问题。
传统大数据平台面临的困境
随着各行各业的大数据系统的建立,企业需要从海量数据发掘数据价值服务于客户。而大数据平台,已逐步进入客户的生产系统中,发挥至关重要的作用。伴随云原生概念的火热,业务敏捷性的需求,传统大数据平台在应对时渐露疲态,集中表现在以下三个方面:
1.硬件集采,配置不合理
目前,企业依然以统一采购硬件的方式为主,配置的框架固定,未考虑大数据在不同场景中对资源的不同诉求,例如离线分析高CPU使用率,实时分析高内存和CPU使用率,全文检索高IO等使用服务器资源的特点,造成集采服务器配置与所需配置存在矛盾,易造成资源浪费。
同时,硬件异构,不同厂家的硬件,对于操作系统、大数据软件甚至一个小的工具的异构兼容不统一,造成硬件不可复用,维护管理成本居高不下。
2.手工部署,效率低
大数据部署、调优方案相对复杂,手工部署的步骤多,导致周期长、成本高。从方案设计到部署安装调优完成,往往需要20多个环节,一个30节点规模的集群,至上线交付至少需要1个月。
同时,传统大数据基础环境的安装存在大量重复性操作,例如安装网络、OS、硬盘RAID方案、分区等,手工部署操作不仅容易出错,且效率不高,每天安装速度仅在10-15节点。
3.资源弹性不足
伴随数据量的激增,大数据集群几乎每年都需扩容一次,但传统大数据在扩容时不够敏捷,政企客户在扩容时需先申报,再采购,等设备到位后才进行安装部署扩容,完成整个过程至少需要3个月,超长的等待周期无法满足高速变化的业务诉求。
同时,传统大数据集群的资源独占、不共享,资源弹性不足,在业务高峰时无法借用其他闲置资源,在业务低峰时,无法释放闲置资源,造成一定的资源浪费。
传统大数据走向云原生数据湖
面对传统大数据共有的三大痛点,各大厂商已纷纷利用云化来解决这些问题,理想的云原生数据湖应该具备如下特性:
1.配置标准化,存算分离架构,资源利用率高;
2.集群搭建周期从月将至小时;
3.集群扩容,资源池申请,无需等待。
大数据云化为客户带来敏捷、高效、弹性的便捷云底座,让传统大数据走向云原生数据湖,实现大数据与云计算融合,算力更弹性,管理更敏捷。
为加速政企数字化转型,助力传统大数据向云原生数据湖升级,原FusionInsight HD与华为云MRS强强结合,架构、内核归一,已全面升级到FusionInsight MRS云原生架构,将为客户提供一企一湖、一城一湖的解决方案,具体特性解读请关注12月30日华为云TechWave云原生2.0技术峰会分论坛,华为云FusionInsight首席架构师徐礼锋的主题演讲“华为云FusionInsight MRS云原生数据湖构建一企一湖、一城一湖”,拥抱云原生2.0,赋能“新云原生企业”!
好文章,需要你的鼓励
Panzura在其Symphony数据管理平台中新增了访问控制列表分析和自动修复功能。该平台专门处理EB级非结构化数据集,具备扫描、分层、迁移和合规分析等功能。Panzura声称58%的企业受到权限扩散问题影响,74%的数据泄露涉及特权凭证滥用。新版本重点解决权限继承中断、过度授权访问和合规盲点等问题,提供完整的文件系统权限可视性和快速问题解决能力。
沙特TachyHealth团队开发的32亿参数医疗AI模型Gazal-R1,通过创新的双阶段训练方法在医疗推理任务上超越了12倍大的模型,在MedQA等测试中取得87.1%的优异成绩,展现了精巧训练策略胜过规模扩张的重要启示,为资源有限的医疗AI研究提供了新路径。
Arista Networks宣布收购博通旗下VeloCloud SD-WAN业务,交易金额约10亿美元。VeloCloud是SD-WAN领域先驱企业,拥有集成安全功能的云管理SD-WAN解决方案。此次收购填补了Arista在分支机构连接方面的空白,使其能够提供端到端网络解决方案。同时,前思科高管Todd Nightingale加入担任总裁兼首席运营官,将助力公司拓展更广泛的客户群体。
奥地利维也纳医科大学研究团队开发了RetFiner技术,通过让眼科AI模型同时学习OCT图像和医疗文字描述,显著提升了诊断准确率。该方法采用四种训练任务让AI模型建立图像与文字的深层联系,在三个主流眼科AI模型上实现了2-6个百分点的性能提升,为医学AI发展开辟了新方向。