近日,全国网络安全标准化技术委员会正式发布《生成式人工智能服务安全基本要求》(以下简称“安全基本要求”),从语料安全、模型安全等多个维度规定了生成式人工智能服务在安全方面的基本要求,高校、研究机构、夸克代表的科技厂商等多方参与了文件起草。
据介绍,安全可信是生成式人工智能健康发展的必要条件,《安全基本要求》是《生成式人工智能服务管理暂行办法》在安全领域的具体支撑,也是近期生成式人工智能领域最重磅的一个文件,将推动行业进一步健康有序发展,应用加速落地。
全国网络安全标准化技术委员在去年10月发布《安全基本要求》征求意见稿后,得到了社会各界积极反馈。浙江大学、北京中关村实验室、阿里巴巴、科大讯飞等均参与了文件起草,其中夸克作为应用型大模型的代表公司之一,也贡献了自己的力量。
企业走在大模型应用最前线,也最应践行大模型安全保障。夸克于2023年11月发布亿级参数自研大模型,自推出伊始夸克便将安全性作为大模型产品的重要研发方向。据介绍,安全性是夸克大模型的四大能力之一,这体现在具备较好的世界观、价值观,对于明显的暗示信息,夸克大模型均能实现准确识别、正确回答或者给出合理指引。
夸克大模型在2023年12月通过备案后,不到100天时间内推出了四款大模型产品:元知、健康助手、AI讲题助手、AI PPT。夸克大模型产品备受消费者喜爱,一个重要原因是产品安全性提高了用户信任度。例如夸克健康助手发布后,用户对健康助手的回答满意度相当高,主要原因是夸克将医疗健康类问答内容幻觉率降低至5%,用户从体验上会发现夸克健康助手答案的正确性、逻辑性都比较高。
清华大学新闻与传播学院新媒体研究中心近日发布的《大语言模型综合性能评估报告》显示,夸克大模型在安全合规与公正性上展现出突出优势。报告指出夸克大模型在确保数据安全和遵守相关法规方面投入了相应的努力,并在设计和实现中对隐私保护和数据安全有较高的重视。
夸克大模型的安全能力,主要来自搜索场景中积累的丰富经验和能力。清华大学新闻学院教授、博士生导师沈阳指出,搜索引擎天然具有各种网络公开数据,在内容安全上经历了长时间的考验,用户也提供了大量的查询需求交互,因此搜索与大模型的结合是天然之配。
好文章,需要你的鼓励
就像90年代拨号上网开启互联网时代一样,AI正在引发可能超越互联网影响的社会变革。本文采访了五位推动AI技术普及的领袖人物,包括AI Made Simple作者Rajeev Kapur、全球首位企业首席AI官Sol Rashidi、HatchWorks AI首席执行官Brandon Powell、MarTech专家Hema Dey和沃顿商学院教授Ethan Mollick。他们一致认为AI不是要取代人类,而是增强人类能力,让每个人都能发挥更大潜力。
KAIST研究团队开发的InfiniteHiP系统成功解决了大型语言模型处理超长文本的瓶颈问题。该技术通过模块化分层修剪、动态位置编码和冷热存储策略,让单个GPU能够处理300万词汇的上下文,速度提升18.95倍,内存使用减少70%。这项突破性技术无需重新训练模型即可应用,为长文本AI应用的普及奠定了基础。
本文探讨了恶意行为者如何轻易诱导生成式AI提供有害的心理健康建议。研究发现,通过修改自定义指令,主要AI系统在88%的健康查询中产生了错误信息。寻求心理健康指导的用户往往不会意识到AI可能被操控产生危险建议,成为欺骗行为的无辜受害者。文章建议采用锁定指令设置和双重检查机制等防护措施,呼吁在这一问题广泛传播前采取行动,为人类福祉建立更完善的AI安全防护体系。
马里兰大学团队开发了名为Huginn的新型AI架构,通过让3.5B参数的小模型学会"深度思考",在推理任务上达到了50B参数大模型的性能水平。该模型采用循环深度设计,可根据问题复杂度进行1-64轮思考,在数学推理和编程任务中表现出色。这项突破证明了通过优化思考过程而非单纯增加参数规模来提升AI能力的可行性,为更高效、经济的AI发展开辟了新路径。