3月4日消息,阿里巴巴宣布完全开源支持10万亿模型的自研分布式深度学习训练框架EPL(Easy Parallel Library,原名whale),进一步完善深度学习生态。
EPL由阿里云机器学习平台PAI团队自主研发,PAI是面向开发者和企业的机器学习/深度学习工程平台,提供包含数据标注、模型构建、模型训练、编译优化、推理部署在内的AI开发全链路服务,内置140多种优化算法,具备丰富的行业场景插件,为用户提供低门槛、高性能的云原生AI工程化能力。
EPL是PAI团队一次面向大规模深度学习分布式自动化训练的探索,EPL希望能够简化深度学习模型从单机训练到分布式开发调试的流程。EPL通过对不同并行化策略进行统一抽象、封装,在一套分布式训练框架中支持多种并行策略,并进行显存、计算、通信等全方位优化来提供易用、高效的分布式训练框架。
EPL适合不同场景的模型,在阿里巴巴内部已经支持图像、推荐、语音、视频、自然语言、多模态等多样性的业务场景。同时,EPL也支持不同规模的模型,最大完成了10万亿规模的M6模型训练,相比之前发布的大模型GPT-3,M6实现同等参数规模能耗仅为其1%。最新测试结果显示,使用EPL的流水+数据并行对Bert Large模型进行优化,相比于数据并行,训练速度提升了66%。
阿里云资深技术专家九丰表示,“近些年,随着深度学习的火爆,模型的参数规模飞速增长,同时为训练框架带来更大挑战。为应对这个问题,我们研发了EPL,EPL功能也随着业务需求的迭代逐渐完善。未来,我们将在软硬件一体优化、全自动策略探索等几个探索性方向上持续投入精力。今天,我们将EPL完全开源,希望和深度学习训练框架的开发者或深度学习从业者之间有更多更好的交流和共建,持续完善深度学习生态。”
好文章,需要你的鼓励
古斯曼矿业通过云基础设施实现数字化转型,提高运营效率。公司将服务器迁移至Azure云平台,实现集中管理。他们正在工厂推进自动化和优化运营,改进商业报告以实现实时决策。公司还计划实施商业中心系统,进一步加强运营管理。古斯曼矿业的IT战略旨在提高可持续性和效率,为公司和社会创造长期价值。
全球固定宽带用户数量突破15亿,成为数字基础设施发展的重要里程碑。光纤部署在过去五年内迅速增长,最近六年内新增5亿用户。尽管移动网络普及,固定宽带仍被视为最佳选择,对教育、健康和经济发展起着重要作用。然而,一些市场已接近饱和,未来增长可能放缓。
Covid-19疫情促使音乐教学转向在线模式,冰岛企业家Margrét Sigurdardottir抓住机遇,创办了Moombix在线音乐教学平台。该平台连接全球专业音乐家与学生,提供便捷的预约、支付和学习工具。尽管面临挑战,Moombix已获得可观投资,展现出广阔前景。
Starlink 与 Oracle 建立合作伙伴关系,为后者的企业通信平台提供高速连接服务。这项合作将支持位于连通性较差地区的客户,确保他们能够访问关键服务。此举不仅推动了卫星企业通信市场的发展,也展示了科技巨头在太空通信领域的竞争。