近日,阿里巴巴宣布加入Linux Foundation AI&Data基金会,持续加大对AI和大数据技术的投入以促进相关开源建设。
阿里巴巴是Linux的活跃开发者,此前已经为Linux内核提交了290多个Patch。除了Linux之外,阿里巴巴在MySQL、JVM、Web服务器等知名项目中均有杰出贡献,也是开源组织WebScaleSQL的5大成员之一。
阿里云机器学习平台PAI和大数据平台技术负责人林伟表示:“加入Linux Foundation AI&Data基金会有助于阿里巴巴更加深入地理解LF AI&Data,更多地参与到技术与标准制定讨论当中,主动把握未来大数据和AI发展方向”。
此次,在加入Linux Foundation AI&Data基金会的同时,阿里巴巴也积极地回馈社区,将面向推荐场景的高性能深度学习框架DeepRec捐赠给Linux Foundation AI&Data基金会托管。
DeepRec 是阿里云机器学习平台 PAI 开源的面向推荐场景的高性能深度学习框架,针对稀疏模型在分布式、图优化、算子、Runtime 等方面进行了深度的性能优化,同时提供了搜索、推荐、广告场景下特有的动态弹性特征,动态弹性维度,自适应 EmbeddingVariable、增量模型导出及加载等一系列功能。
DeepRec在阿里巴巴集团内部广泛应用于淘宝、天猫、阿里妈妈、高德、淘特、AliExpress、Lazada等,支持了淘宝搜索、推荐、广告等核心业务,支撑着千亿特征、万亿样本的超大规模稀疏训练。DeepRec开源一年多以来,已经在数十家公司的搜推广业务场景中大规模应用,带来了巨大的业务价值。
Linux Foundation AI&Data基金会执行董事Ibrahim Haddad博士对此表示热烈欢迎,“DeepRec凭借其在深度学习推荐框架方面令人印象深刻的成果,为技术项目带来创新的解决方案。很高兴与DeepRec合作进一步开发和增强这一强大的开源技术。借助Linux Foundation AI&Data基金会的专业知识和资源,携手共进一同推动深度学习的进步,并彻底改变处理推荐系统的方式。”
阿里巴巴在DeepRec捐赠后,将继续和LFAI&Data一起持续维护和推广DeepRec,打造面向搜推广场景的深度学习框架生态,吸引更多的公司和团队参与到DeepRec使用和开发中来。此外阿里巴巴将会更加积极开放地参与到更多的开源基金会,并将在适当时候捐献部分软件项目给基金会托管。
好文章,需要你的鼓励
当前企业面临引入AI的机遇与挑战。管理层需要了解机器学习算法基础,包括线性回归、神经网络等核心技术。专家建议从小规模试点开始,优先选择高影响用例,投资数据治理,提升员工技能。对于影子IT现象,应将其视为机会而非问题,建立治理流程将有效工具正式化。成功的AI采用需要明确目标、跨部门协作、变革管理和持续学习社区建设。
这项由东京科学技术大学等机构联合发布的研究提出了UMoE架构,通过重新设计注意力机制,实现了注意力层和前馈网络层的专家参数共享。该方法在多个数据集上显著优于现有的MoE方法,同时保持了较低的计算开销,为大语言模型的高效扩展提供了新思路。
美国垃圾收集行业2024年创收690亿美元,近18万辆垃圾车每周运营六至七天,每日停靠超千次。设备故障成为行业最大隐性成本,每辆车年均故障费用超5000美元。AI技术通过实时监控传感器数据,能提前数周预测故障,优化零部件库存管理,减少重复维修。车队报告显示,预测性维护每辆车年节省高达2500美元,显著提升运营效率和服务可靠性。
小米团队开发的MiMo-7B模型证明了AI领域"小而精"路线的可行性。这个仅有70亿参数的模型通过创新的预训练数据处理、三阶段训练策略和强化学习优化,在数学推理和编程任务上超越了320亿参数的大模型,甚至在某些指标上击败OpenAI o1-mini。研究团队还开发了高效的训练基础设施,将训练速度提升2.29倍。该成果已完全开源,为AI民主化发展提供了新思路。