[中国,上海,2023年7月10日]近日,昇腾人工智能产业高峰论坛在上海举办,会上华为联合26家AI、金融、运营商、互联网行业领军企业、高校及科研院所,共同启动昇腾AI大模型联合创新。华为侧将基于昇腾AI提供澎湃算力与高效开发工具,携手伙伴、客户一同提升大模型开发、训练、微调、部署的效率和模型精度,加速大模型创新业务上线,促进产业数智化转型升级。

基于昇腾AI的大模型联合创新正式启动
伴随大模型带来的生成式AI突破,人工智能正在进入一个新的时代。为了更好地支持AI大模型的发展,去年华为发布了从规划、开发到产业化的人工智能大模型全流程使能体系。该体系包括建立大模型沙盘,规划并引领产业界真正需要的大模型;推出大模型开发使能平台,帮助开发者快速完成大模型的开发;在大模型训练后,与产业伙伴合作构建大模型产业联合体,以期让更多合作伙伴基于大模型推出场景化解决方案并实现产业化推广。
为了进一步推动联合创新,华为携手26家AI、金融、运营商、互联网行业领军企业、高校及科研院所,共同启动昇腾AI大模型联合创新,将基于昇腾AI基础软硬件平台,联合伙伴提升大模型开发、训练部署的效率和精度,助力伙伴高效训练大模型、加速业务上线,促进产业数智化转型升级。
目前,昇腾AI产业快速发展,已发展30多家硬件伙伴、1200多家ISV,联合推出了2500多个行业AI解决方案,规模服务于运营商、互联网、金融等行业核心场景。基于昇腾AI澎湃算力,原生研发、适配的大模型超过30个,占据中国大模型近一半数量。其中,武汉大学基于昇腾AI推出了大模型武汉.LuoJia,包括全球首个遥感影像智能解译专用框架武汉.LuoJiaNET和业界最大的遥感影像样本数据集武汉.LuoJiaSET,推动智能遥感技术在自然资源、海洋、农业、森林、应急等行业的广泛应用。中科院自动化所发布基于昇腾AI的“紫东太初”2.0全模态大模型,在语音、图像和文本三模态的基础上,加入视频、信号、3D点云等模态数据,研究突破了认知增强的多模态关联等关键技术,具备全模态理解能力、生成能力和关联能力,“紫东太初”大模型已在神经外科手术导航、法律咨询、医疗多模态鉴别诊断等领域开始系列引领性、示范性应用。
华为云盘古大模型3.0基于鲲鹏和昇腾为基础的AI算力云平台,以及异构计算架构CANN、全场景AI框架昇思MindSpore,AI开发生产线ModelArts等,为客户提供100亿参数、380亿参数、710亿参数和1000亿参数的系列化基础大模型,匹配客户不同场景、不同时延、不同响应速度的行业多样化需求,目前,华为云盘古大模型已在金融、制造、医药研发、煤矿、铁路等诸多行业发挥着巨大价值。
未来,华为将继续携手伙伴基于昇腾AI进行大模型联合创新,把大模型带入更多行业场景,实现产业化推广,共同促进行业智能化升级。
好文章,需要你的鼓励
苏州大学研究团队提出"语境降噪训练"新方法,通过"综合梯度分数"识别长文本中的关键信息,在训练时强化重要内容、抑制干扰噪音。该技术让80亿参数的开源模型在长文本任务上达到GPT-4o水平,训练效率比传统方法高出40多倍。研究解决了AI处理长文档时容易被无关信息干扰的核心问题,为文档分析、法律研究等应用提供重要突破。
在Cloudera的“价值观”中,企业智能化的根基可以被概括为两个字:“源”与“治”——让数据有源,智能可治。
清华大学团队首次揭示了困扰AI训练领域超过两年的"幽灵故障"根本原因:Flash Attention在BF16精度下训练时会因数字舍入偏差与低秩矩阵结构的交互作用导致训练崩溃。研究团队通过深入分析发现问题源于注意力权重为1时的系统性舍入误差累积,并提出了动态最大值调整的解决方案,成功稳定了训练过程。这项研究不仅解决了实际工程问题,更为分析类似数值稳定性挑战提供了重要方法论。