近日,全球最大的开源软件基金会 Apache 软件基金会(下简称“ASF”)正式宣布Apache Linkis 顺利毕业,成为Apache顶级项目(TLP)。

(以上截图来自Apache 官网)
Apache Linkis 是微众银行自主研发并开源的一款大数据计算中间件项目,于2019年7月对外开源,并于2021年8月正式捐献给世界上最大的开源基金会ASF成为孵化项目。ASF孵化器对毕业成为顶级项目所要求的条件十分严苛,主导Apache顶级项目已成为领先科技公司技术实力和社会责任的双重体现。截至目前,源自中国的Apache顶级项目只有20个,而由银行机构主导捐赠并毕业的Apache顶级项目,Apache Linkis是全球首例。
在孵化过程中,Apache Linkis充分遵循“Apache Way”,即采用开放、透明、包容的治理体系,建立了繁荣且多元的开源社区,项目价值和社区成熟度得到了ASF孵化委员会的一致认可。Apache Linkis毕业成为顶级项目,为源自中国的 Apache 顶级项目再添一员强将,也证明了技术开源是增强中国基础软件国际影响力的有效路径。
“作为微众银行主导开源和捐赠的优秀项目,计算中间件Apache Linkis 经过金融级生产环境的持续打磨,和社区各行业贡献者的共同建设完善,已成为解决大数据平台计算治理问题的利器。”微众银行副行长兼首席信息官马智涛表示,“未来,微众银行将一如既往支持开源社区建设,助力我国为全球基础软件的发展贡献关键力量。”
打造中间连接,解决大数据平台建设痛点
随着大数据技术的广泛应用,催生出大量上层应用和下层计算引擎,当企业不断引入新的开源组件来满足业务需求时,越来越多的痛点也随之产生,如新引入的开源组件无法兼容原有数据平台,当底层环境发生改变会直接影响上层应用导致业务产品无法正常使用等。
微众银行大数据平台团队基于以上痛点,结合自身业务需求和开发经验设计了Linkis,通过在底层引擎和上层应用工具之间搭建一个通用的“计算中间件”的中间层,为应用层和引擎层之间提供强大的“连接”能力,简化二者之间复杂的网络调用关系,降低了整体复杂度,同时节约了整体开发和维护成本。简而言之,Apache Linkis 可以以标准化、可复用的方式来处理企业大数据平台建设过程中重复造轮子、扩展难、应用孤岛等计算治理问题。

自孵化以来,Apache Linkis 由社区开发者主导发布了7个Apache 版本,已有来自不同的公司和团队的 23 位PPMC成员、33 位代码 Committer 参与贡献,贡献总人数达127人。目前,Apache Linkis开源社区群用户总数超7600人,沙箱累计试用公司超2600家,投入生产的企业超110家,生产环境支撑的数据量达 400 PB,生产服务的用户超 5000人,涉及金融、电信、制造、互联网等多个行业。

建立有效路径,助力中国基础软件走向世界
Apache Linkis毕业并成为顶级项目,是微众银行在金融科技开源历程上的又一个重要里程碑,也代表了微众银行所倡导的开源方式,是中国基础软件在国际上建立影响力的有效路径。
作为全球领先的数字银行,微众银行自立行起就全面使用开源软件,构建了安全可控的分布式银行架构。面对金融机构“强监管”特性、严苛的安全及合规方面的要求,微众银行逐步建立起完备的开源治理体系,通过成立公司级别的开源治理组织架构开源管理办公室、发布开源相关管理办法和指导手册、引入第三方管理工具等方式,从组织、制度、流程工具三个方面保证了使用开源及开源输出风险可控。
同时,微众银行积极倡导内部开源文化建设,通过内部开源激励体系,鼓励员工积极参与开源活动及社区,通过成立技术监督委员会打破部门边界,从全公司的技术项目中甄选优秀的开源项目。目前,微众银行超过五成的科技员工关注开源、拥有 GitHub 账号,超过二成的科技员工积极参与社区贡献。
2019年,微众银行宣布金融科技全面开源,自此便陆续在“ABCD”(人工智能、区块链、云计算和大数据)等多个开源领域取得优异成果。举例而言,2019年微众银行加入 Linux 基金会成为黄金会员,并捐献全球首个工业级联邦学习框架FATE;围绕区块链底层平台FISCO BCOS为基础构建的开源社区,形成了最大最活跃的国产开源联盟链生态圈;2021年,大数据计算中间件Linkis和事件网格Eventmesh成为Apache软件基金会孵化项目,在ASF2021 年新增的5个孵化项目中独占2个。截至2022年末,微众银行已经有 33 个对外开源项目,超过230 个代码仓库,累计获得 Star 超过35,500个,Fork超过13,300个。
注释
毕业:在ASF孵化过程中,当项目社区成熟度达到要求,且遵照ASF 孵化毕业流程投票通过,方可“毕业”。
PPMC:Podling Project Management Committee,孵化项目管理委员会。
Committer:开源项目代码提交者,一般是指开源项目中对代码仓库有直接提交修改权限的人。
好文章,需要你的鼓励
AI正在革命性地改变心脏疾病治疗领域。从设计微创心脏瓣膜手术到预防原理定位,机器学习和神经网络的洞察力推动了巨大进步,甚至可以构建新型移植解剖结构。数字孪生技术为个性化心血管护理提供持续预测管理。哈佛干细胞研究所的研究人员利用纳米材料和类似棉花糖机的设备,能在10分钟内制造心脏瓣膜,相比传统3周制造时间大幅缩短。这些突破性技术为每年4万名先天性心脏畸形儿童带来新希望。
Fractal AI Research实验室开发了Fathom-DeepResearch智能搜索系统,该系统由两个4B参数模型组成,能够进行20多轮深度网络搜索并生成结构化报告。研究团队创新了DUETQA数据集、RAPO训练方法和认知行为奖励机制,解决了AI搜索中的浅层化、重复性和缺乏综合能力等问题,在多项基准测试中显著超越现有开源系统,为AI助手向专业研究工具转变奠定了基础。
谷歌正在为搭载其内置信息娱乐系统的汽车推出谷歌地图实时车道引导功能,首先从极星4开始。该系统利用车辆前置摄像头和AI技术,分析车道标线和路标,为驾驶者提供更精确的车道指引和视听提示。该功能将在未来几个月内在美国和瑞典的极星4车型上推出,目前仅支持高速公路使用。
快手科技与清华大学合作发现当前AI语言模型训练中存在严重的权重分配不平衡问题,提出了非对称重要性采样策略优化(ASPO)方法。该方法通过翻转正面样本的重要性权重,让模型把更多注意力放在需要改进的部分而非已经表现良好的部分,显著提升了数学推理和编程任务的性能,并改善了训练稳定性。