在模型选择方面——每年工业界与学术界都会提出大量的模型,不同模型有什么优势,什么样的模型适合自己,厂商在挑选合适的模型上存在挑战。
在模型训练方面——大多数模型更侧重于算法的实现,关注易用性和模型的精度,往往忽略了模型吞吐,没有实现生产环境下的训练加速最优,GPU利用率也很低。
这导致了车厂的研发容易成本居高不下,模型落地周期越长,车辆也无法及时获得最新的AI能力。
针对这两大难题,百度智能云联合NVIDIA,根据双方在自动驾驶行业丰富的实践经验,首批精选了17个模型,包括了2D、3D摄像头、雷达等多种传感设备,为车辆提供覆盖自适应巡航、碰撞检测、紧急制动、交通信号灯检车、车道偏离识别、环绕视图、盲点探索、后方碰撞警告等能力。
在模型优化方面,百度智能云技术团队联合 NVIDIA,针对常见智驾场景的感知模型,从数据 I/O 开销、模型计算开销、损失函数计算开销、优化器开销、分布式通信开销等角度进行全面深入分析,结合硬件集群和模型结构等因素,在 GPU 卡上联合 NVIDIA 进行了软硬一体优化,让算法与GPU配合更加默契,最终模型优化实现了平均138%,最高400%的吞吐量提升。
汽车厂商可以直接使用这些模型加速训练,将获得的最新AI能力同步至车辆。现在已经有客户开始将这些优化后的模型投入到业务流程中。
在优化的过程中,百度智能云技术团队不断尝试各种手段来提高模型吞吐量和资源的利用率。比如,在CenterPoint的模型优化中吞吐效果经历了从50%、到169%,再到391%的提升,最终实现了目前400%的吞吐提升,训练时间缩短80%。
在模型优化的过程中,百度智能云联合NVIDIA提炼出了一套通用的模型优化方法论,可以帮助团队在短时间内完成新模型的优化工作。
NVIDIA 开发与技术部总经理李曦鹏说:“汽车智能化刚刚开始,如何构建自动驾驶端到端的模型生产和上线迭代的闭环能力,将成为自驾领域客户的核心竞争力之一。NVIDIA 和百度智能云针对自驾常用的17个模型做的极致优化,加速自动驾驶汽车的研发和商用。为了满足更多模型的需求,相关训练加速的技术手段也会集成到百度百舸的AI加速套件中。”
百度副总裁谢广军表示:“云智一体,深入产业”,模型训练是自动驾驶领域的核心场景。百度智能云联合 NVIDIA 对17个感知模型的训练进行了优化,最高可达到400%的训练吞吐提升,缩短80%的训练时间。双方沉淀的优化方法还将帮助更多行业提升模型训练效率,加速产业智能化升级。”
好文章,需要你的鼓励
美国连锁超市巨头Albertsons正在基于Databricks构建商品智能平台,整合产品、定价、促销与陈列等决策功能,目标是在2026年底前全面向门店运营商落地。该平台以Databricks Lakehouse存储零售数据,通过Unity Catalog与AI Gateway实现数据治理,并借助AI智能体Genie支持自然语言查询,帮助商家洞察销售趋势,提升决策效率。此举是Albertsons今年四项AI核心战略投资之一。
阿里Qwen团队通过引入强化学习和在线策略蒸馏,将Qwen-Image-2.0升级为Qwen-Image-2.0-RL,让图像生成模型真正学会人类审美,文生图Elo评分提升78分,图像编辑提升93分。
微软正将Windows 11打造成真正的AI操作系统。在Build大会上,微软展示了AI模型与智能代理如何深度融合进Windows 11,让用户通过自然语言完成系统操作。借助Windows ML框架,超过5亿台PC已可在本地离线运行AI任务,无需联网、无token费用、数据不离设备。Office、Photos、Teams等应用已支持本地AI能力,Adobe、WhatsApp、Canva等第三方也在积极跟进,企业级AI PC采购需求有望加速。
港科大与快手联合提出NormGuard,针对流匹配模型强化学习训练中速度范数膨胀问题,通过训练时单向惩罚约束,在保留奖励的同时改善图像真实感。