【2023年9月6日,北京】今日,百川智能在北京召开大模型发布会,正式发布Baichuan2开源大模型,昇腾AI基础软硬件平台正式支持Baichuan2大模型,并在昇思MindSpore开源社区大模型平台上线Baichuan2-7B模型开放体验。
发布会现场,百川智能宣布正式开源微调后的Baichuan2-7B、Baichuan2-13B、Baichuan2-13B-Chat与其量化版本4bit,面向学术及商业市场提供大模型服务,并且均为免费可商用。
昇思MindSpore版本开源仓链接:
https://gitee.com/mindspore/mindformers/blob/dev/research/baichuan2/baichuan2.md
昇思MindSpore开源社区大模型平台:
https://xihe.mindspore.cn/modelzoo/baichuan2_7b_chat
文理兼备性能优异,全面领先 LLaMA 2
Baichuan2-7B-Base 和 Baichuan2-13B-Base,均基于2.6T高质量多语言数据进行训练,在保留了上一代开源模型良好的生成与创作能力,流畅的多轮对话能力以及部署?槛较低等众多特性的基础上,两个模型在数学、代码、安全、逻辑推理、语义理解等能力有显著提升。其中Baichuan2-13B-Base相比上一代13B模型,数学能力提升49%,代码能力提升46%,安全能力提升37%,逻辑推理能力提升25%,语义理解能力提升15%。
本次开源的两个模型在各大评测榜单上的表现优秀,在MMLU、CMMLU、GSM8K等几大权威评估基准中,以绝对优势领先LLaMA 2,相比其他同等参数量大模型,表现也十分亮眼,性能大幅度优于LLaMA 2等同尺寸模型竞品。
更值得一提的是,根据MMLU等多个权威英文评估基准评分 Baichuan2-7b以70亿的参数在英文主流任务上与130 亿参数量的LLaMA 2基本持平。
7B参数模型的Benchmark成绩
13B参数模型的Benchmark成绩
Baichuan2-7B和Baichuan2-13B不仅对学术研究完全开放,开发者也仅需邮件申请获得官方商用许可后,即可以免费商用。
Baichuan2大模型
Baichuan2大模型是由百川智能开发的一系列开源可商用的大规模预训练语言模型。包含了70亿、130亿、530亿参数的模型。百川智能自成立之初,就将通过开源方式助力中国大模型生态繁荣作为公司的重要发展方向。此次开源的两款Baichuan2大模型,得到了上下游企业的积极响应,华为等众多知名企业均参加了本次发布会并与百川智能达成了合作。
昇腾AI
昇腾 AI 是以昇腾 AI 基础软硬件平台为基础构建的人工智能计算产业。昇腾AI基础软硬件平台包括 Atlas 系列硬件及伙伴自有品牌硬件、异构计算架构 CANN、全场景AI框架昇思 MindSpore、昇腾应用使能 MindX、一站式开发平台 ModelArts 和统一工具链MindStudio 等。
好文章,需要你的鼓励
韩国科学技术院研究团队提出"分叉-合并解码"方法,无需额外训练即可改善音视频大语言模型的多模态理解能力。通过先独立处理音频和视频(分叉阶段),再融合结果(合并阶段),该方法有效缓解了模型过度依赖单一模态的问题,在AVQA、MUSIC-AVQA和AVHBench三个基准测试中均取得显著性能提升,特别是在需要平衡音视频理解的任务上表现突出。
这项研究利用大语言模型解决科学新颖性检测难题,南洋理工大学团队创新性地构建了闭合领域数据集并提出知识蒸馏框架,训练轻量级检索器捕捉想法层面相似性而非表面文本相似性。实验表明,该方法在市场营销和NLP领域显著优于现有技术,为加速科学创新提供了有力工具。
un?CLIP是一项创新研究,通过巧妙反转unCLIP生成模型来增强CLIP的视觉细节捕捉能力。中国科学院研究团队发现,虽然CLIP在全局图像理解方面表现出色,但在捕捉细节时存在不足。他们的方法利用unCLIP生成模型的视觉细节表示能力,同时保持与CLIP原始文本编码器的语义对齐。实验结果表明,un?CLIP在MMVP-VLM基准、开放词汇语义分割和视觉中心的多模态任务上显著优于原始CLIP和现有改进方法,为视觉-语言模型的发展提供了新思路。
这项研究介绍了RPEval,一个专为评估大语言模型角色扮演能力而设计的新基准。研究团队从法国里尔大学开发的这一工具专注于四个关键维度:情感理解、决策制定、道德对齐和角色一致性,通过单轮交互实现全自动评估。研究结果显示Gemini-1.5-Pro在总体表现上领先,而GPT-4o虽在决策方面表现出色,但在角色一致性上存在明显不足。这一基准为研究人员提供了一个可靠、可重复的方法来评估和改进大语言模型的角色扮演能力。