近日,博鳌亚洲论坛(Boao Forum For Asia,BFA)2023年年会在海南举办。华为云人工智能领域首席科学家、国际欧亚科学院院士(IEAS Academician)、IEEE/CAAI Fellow田奇应邀参与“人工智能赋能美好生活”分论坛,就人工智能技术的新发展、未来趋势、以及通用大模型与行业大模型发展等热点话题进行讨论和分享。
华为云人工智能领域首席科学家田奇参与博鳌亚洲论坛2023年年会
近期人工智能再次成为全球焦点。在这轮新的人工智能浪潮中,田奇认为,预训练大模型作为具备极强泛化性、通用性、实用性的工具,将成为人工智能技术及应用的新基座,发挥越来越重要的作用,并带来“三个统一”:
数智融合平台架构的统一:预训练大模型可通过融合的数据和AI新架构,打通大数据与人工智能,帮助企业及开发者实现统一管理、一数多用、敏捷用数。
深度学习架构的统一:在预训练大模型的开发模式下,基于Transformer架构的各种神经网络将能够广泛应用于计算机视觉、自然语言处理、多媒体分析等各类问题中。
人机交互方式的统一:预训练大模型将支持用户通过自然语言等方式与AI交互并完成各种任务,改变当前针对每个任务需单独设计算法的局面。
当前,这些多元统一的技术及创新成果,开始大规模地从实验室研究走向产业实践,让人工智能产业化的路径更加清晰。对此,田奇在博鳌亚洲论坛表示,“AI for industries将成为人工智能新的爆发点”。
以电力的发明与应用为例。起初,电仅能通过一根碳丝或金属丝,以白炽灯的形式为人类提供照明作用。随着法拉第电磁感应现象的广泛应用,电力开始驱动电机,逐步进入到千行百业的生产系统,推动了新兴工业的迅速发展以及社会生产效率的提升,让人类生产力得到跨越式的进步。
田奇认为,与电力的普及过程相似,AI将广泛应用到各行各业,在To B领域真正实现商业落地,不断催生新场景、新业态、新模式和新市场,加速经济社会转型,推动人类社会进入智能世界。
预训练大模型的研究不仅需要提升大模型通用能力,更需要贴近人工智能产业发展的现实需求。当前,华为云以“AI for industries”为发力点,基于盘古预训练大模型,打造了药物分子大模型、气象大模型,以及矿山、电力、金融、轨道等行业大模型,让人工智能开发标准化、可复制、批量化生产,加速AI深入千行百业。
好文章,需要你的鼓励
这项由北京大学人工智能研究院完成的研究,首次从数据压缩理论角度揭示了大型语言模型存在"弹性"现象——即使经过精心安全对齐,模型仍倾向于保持预训练时的行为分布。
卢森堡大学研究团队开发的RLDP框架首次将强化学习应用于差分隐私优化,创造性地解决了AI训练中隐私保护与模型效果的矛盾。该方法如同智能教练,能动态调整隐私保护策略,在四种语言模型上实现平均5.6%的性能提升和71%的训练时间缩短,同时增强了抗隐私攻击能力,为敏感数据的AI应用开辟了新路径。
过去七年中,基于机器学习的AI工具几乎完全自动化了地震学的基础任务——地震检测。AI模型能够检测到比人工分析师更小的地震,特别是在城市等嘈杂环境中。斯坦福团队开发的地震变换器等模型使用一维卷积和注意力机制,在包含120万个人工标记样本的数据集上训练。这些工具通常能发现比传统方法多10倍以上的地震,为火山结构成像和地质研究提供了更全面的地震目录。
腾讯混元团队联合北京大学提出MixGRPO技术,通过混合ODE-SDE采样策略和滑动窗口机制,将AI图像生成训练效率提升50%-71%,同时在多项人类偏好评估指标上超越现有方法。该技术采用"从难到易"的渐进优化策略,专注于图像生成早期阶段的重点优化,并引入高阶求解器进一步加速训练过程,为AI图像生成的产业化应用提供了更高效可行的解决方案。