近日,全国网络安全标准化技术委员会正式发布《生成式人工智能服务安全基本要求》(以下简称“安全基本要求”),从语料安全、模型安全等多个维度规定了生成式人工智能服务在安全方面的基本要求,高校、研究机构、夸克代表的科技厂商等多方参与了文件起草。
据介绍,安全可信是生成式人工智能健康发展的必要条件,《安全基本要求》是《生成式人工智能服务管理暂行办法》在安全领域的具体支撑,也是近期生成式人工智能领域最重磅的一个文件,将推动行业进一步健康有序发展,应用加速落地。
全国网络安全标准化技术委员在去年10月发布《安全基本要求》征求意见稿后,得到了社会各界积极反馈。浙江大学、北京中关村实验室、阿里巴巴、科大讯飞等均参与了文件起草,其中夸克作为应用型大模型的代表公司之一,也贡献了自己的力量。
企业走在大模型应用最前线,也最应践行大模型安全保障。夸克于2023年11月发布亿级参数自研大模型,自推出伊始夸克便将安全性作为大模型产品的重要研发方向。据介绍,安全性是夸克大模型的四大能力之一,这体现在具备较好的世界观、价值观,对于明显的暗示信息,夸克大模型均能实现准确识别、正确回答或者给出合理指引。
夸克大模型在2023年12月通过备案后,不到100天时间内推出了四款大模型产品:元知、健康助手、AI讲题助手、AI PPT。夸克大模型产品备受消费者喜爱,一个重要原因是产品安全性提高了用户信任度。例如夸克健康助手发布后,用户对健康助手的回答满意度相当高,主要原因是夸克将医疗健康类问答内容幻觉率降低至5%,用户从体验上会发现夸克健康助手答案的正确性、逻辑性都比较高。
清华大学新闻与传播学院新媒体研究中心近日发布的《大语言模型综合性能评估报告》显示,夸克大模型在安全合规与公正性上展现出突出优势。报告指出夸克大模型在确保数据安全和遵守相关法规方面投入了相应的努力,并在设计和实现中对隐私保护和数据安全有较高的重视。
夸克大模型的安全能力,主要来自搜索场景中积累的丰富经验和能力。清华大学新闻学院教授、博士生导师沈阳指出,搜索引擎天然具有各种网络公开数据,在内容安全上经历了长时间的考验,用户也提供了大量的查询需求交互,因此搜索与大模型的结合是天然之配。
好文章,需要你的鼓励
CIO们正面临众多复杂挑战,其多样性值得关注。除了企业安全和成本控制等传统问题,人工智能快速发展和地缘政治环境正在颠覆常规业务模式。主要挑战包括:AI技术快速演进、IT部门AI应用、AI网络攻击威胁、AIOps智能运维、快速实现价值、地缘政治影响、成本控制、人才短缺、安全风险管理以及未来准备等十个方面。
北航团队发布AnimaX技术,能够根据文字描述让静态3D模型自动生成动画。该系统支持人形角色、动物、家具等各类模型,仅需6分钟即可完成高质量动画生成,效率远超传统方法。通过多视角视频-姿态联合扩散模型,AnimaX有效结合了视频AI的运动理解能力与骨骼动画的精确控制,在16万动画序列数据集上训练后展现出卓越性能。
过去两年间,许多组织启动了大量AI概念验证项目,但失败率高且投资回报率令人失望。如今出现新趋势,组织开始重新评估AI实验的撒网策略。IT观察者发现,许多组织正在减少AI概念验证项目数量,IT领导转向商业AI工具,专注于有限的战略性目标用例。专家表示,组织正从大规模实验转向更专注、结果导向的AI部署,优先考虑能深度融入运营工作流程并产生可衡量结果的少数用例。
这项研究解决了AI图片描述中的两大难题:描述不平衡和内容虚构。通过创新的"侦探式追问"方法,让AI能生成更详细准确的图片描述,显著提升了多个AI系统的性能表现,为无障碍技术、教育、电商等领域带来实用价值。