华为开发者大会2023(Cloud)在深圳召开,华为云发布了盘古大模型3.0,为各行各业提供强大的人工智能能力。华为云人工智能领域首席科学家田奇在一档播客节目中表示,我们之前做出畅想,曾认为大模型将会成为人工智能的底座,这件事目前已经变成了现实。大模型是人工智能的操作系统,这个也是正在发生的事情。

华为云人工智能领域首席科学家田奇
田奇解释说,往上看,大模型支持更多的API和插件,就像操作系统一样,可以让开发者更方便地调用各种功能和服务,实现更多的应用场景;
往下看,大模型与软硬件更好地适配,就像操作系统一样,可以让底层的计算资源更高效地利用,降低训练和推理的成本和时间。他介绍说,盘古大模型3.0是基于华为云自研的昇腾910芯片和MindSpore框架训练出来的,这两者都是专门针对人工智能场景设计的,可以实现高性能、低功耗、高可靠性等特点。
未来看,大模型将从千行百业走向千家万户,就像操作系统一样,可以让人工智能真正普及到每个人的生活中。他举例说,现在大模型需要极大的算力来训练它,而且需要较高的成本来进行推理,很难部署到端侧的设备上,比如说手机上。但是将来,随着技术的进步和创新,可能会出现更小巧、更便宜、更强大的芯片和框架,可以让推理成本成百倍、成千倍、甚至成万倍地降低。这样一来,就可以把大模型装载在手机芯片上了。这样一旦发生,就像大型机变成了PC机一样,大模型从大厂独有的优势,能够进入千家万户,手机只是一个例子,还有很多其他的设备和场景,都可以享受到大模型带来的人工智能服务。
田奇还谈到了大模型与小模型的关系,他认为模型并不是越大越好,而是要根据不同的任务和场景,选择合适的模型。他说,大模型的优点在于它的泛化性强,可以通过海量数据记忆各种知识和规律,然后通过少量的数据进行微调,就可以针对性地提高应用的精度。小模型的优点在于它的专业性强,可以针对某个领域或者场景,进行深入的优化和定制,提高效率和稳定性。他认为,未来的趋势是大模型与小模型更好地协同,大模型更像一个内脑中枢,小模型更像具体的小功能。通过大模型的语言中枢,可以知道面对不同问题的时候,去调用什么样的专家小模型。这种大小模型的协同,大模型作为中枢决策系统来调用各种小模型,来解决行业的问题,也是将来非常值得探索的方向。
好文章,需要你的鼓励
苏州大学研究团队提出"语境降噪训练"新方法,通过"综合梯度分数"识别长文本中的关键信息,在训练时强化重要内容、抑制干扰噪音。该技术让80亿参数的开源模型在长文本任务上达到GPT-4o水平,训练效率比传统方法高出40多倍。研究解决了AI处理长文档时容易被无关信息干扰的核心问题,为文档分析、法律研究等应用提供重要突破。
在Cloudera的“价值观”中,企业智能化的根基可以被概括为两个字:“源”与“治”——让数据有源,智能可治。
清华大学团队首次揭示了困扰AI训练领域超过两年的"幽灵故障"根本原因:Flash Attention在BF16精度下训练时会因数字舍入偏差与低秩矩阵结构的交互作用导致训练崩溃。研究团队通过深入分析发现问题源于注意力权重为1时的系统性舍入误差累积,并提出了动态最大值调整的解决方案,成功稳定了训练过程。这项研究不仅解决了实际工程问题,更为分析类似数值稳定性挑战提供了重要方法论。