越流行的大语言模型越不安全 世界视点
近日,安全研究人员用OpenSSF记分卡对GitHub上50个最流行的生成式AI大语言模型项目的安全性进行了评估,结果发现越流行的大语言模型越危险。
软件供应链安全公司Rezilion的研究人员调查了GitHub上50个最受欢迎的生成式AI项目的安全状况。他们发现,生成式人工智能开源项目越流行、越新,其安全性就越不成熟。
Rezilion使用开源安全基金会(OpenSSF)记分卡来评估大型语言模型(LLM)开源生态系统,强调了安全最佳实践中的重大差距以及许多基于LLM的项目中的潜在风险。研究结果发表在题为《ExplAIning the Risk》报告中。
【资料图】
基于LLM的生成式人工智能技术呈爆炸性增长,机器已经能够生成接近甚至超过人类平均水平(效率)的文本、图像甚至代码的能力。集成LLM的开源项目数量正迅猛增长。例如,OpenAI推出ChatGPT仅7个月,但目前GitHub上已经有超过3万个使用GPT-3.5系列LLM的开源项目。
尽管需求空前旺盛,但生成式AI/LLM技术面临的安全风险也与日俱增,从利用先进的自学习算法共享敏感业务信息到恶意行为者利用生成式AI来大幅度提高攻击力。
本月早些时候,开放全球应用程序安全项目(OWASP)发布了大语言模型应用常见的10个最严重的漏洞(下图),强调了LLM面临的潜在风险、漏洞利用的难易程度和普遍性。OWASP给出的LLM漏洞示例包括提示注入、数据泄露、沙箱机制不充分和未经授权的代码执行。
OWASP大语言模型十大安全漏洞
来源:OWASP
什么是OpenSSF记分卡?
OpenSSF记分卡是OpenSSF创建的一个工具,用于评估开源项目的安全性并帮助改进它们。OpenSSF评估所依据的指标是代码库本身的问题,例如漏洞数量、维护频率以及是否包含二进制文件。OpenSSF能检查软件项目供应链的不同部分,包括源代码、构建依赖项、测试和项目维护。确保其遵守安全最佳实践和行业标准。
OpenSSF的每项检查都有一个与之相关的风险级别,代表与不遵守特定最佳实践相关的估计风险。然后将各个检查分数换算成总分数,以评估项目的整体安全状况。
目前,OpenSSF共有18项检查,可分为三大类:整体安全实践、源代码风险评估和构建过程风险评估。OpenSSF记分卡为每项检查分配0到10之间的风险级别分数。得分接近10的项目表示高度安全且维护良好,而得分接近0则表示安全状况较弱,维护不足且易受开源风险影响。
越流行的开源大语言模型项目越不安全
Rezilion的研究揭示了一个令人不安的趋势:生成式AI/LLM项目越受欢迎(基于GitHub的星级受欢迎程度评级系统),其安全评分就越低(基于OpenSSF记分卡)。
研究人员指出:“这凸显了一个事实,即LLM项目的受欢迎程度本身并不能反映其质量,更不用说其安全状况了。”报告称,GitHub上最受欢迎的基于GPT的项目Auto-GPT拥有超过13.8万颗星,上线还不到三个月,其记分卡得分仅为3.7。检查的50个项目的平均得分也好不到哪儿去,仅为4.6分(满分10分)。
研究人员进一步将GitHub上最受欢迎的生成式AI和LLM项目的风险与该平台上与生成式AI或LLM无关的其他流行开源项目进行了比较。他们分析了一组94个关键项目(由OpenSSF保护关键项目工作组定义),平均记分卡得分为6.18,还分析了一组7个将OpenSSF记分卡作为其SDLC工作流程一部分的项目,平均得分7.37。
研究人员写道:“围绕LLM的开源生态系统的成熟度和安全状况还有很多不足之处。事实上,随着这些系统越来越受欢迎,普及度越高,如果开发和维护的安全标准保持不变,重大漏洞将持续涌现,不可避免地会成为攻击者的目标。”
未来12-18个月,生成式AI、大语言模型风险将持续增加
报告指出:随着生成式AI和LLM系统的应用不断增长,给企业带来的风险预计将在未来12到18个月内发生重大变化。报告指出:“如果围绕LLM的安全标准和实践没有重大改进,针对性的攻击和发现这些系统中的漏洞的可能性将会增加。企业必须保持警惕并优先考虑安全措施,以缓解不断变化的风险并确保负责任和安全地使用LLM。”
降低LLM安全风险最重要的方法是“安全左移”,即在开发基于人工智能的系统时就采用安全设计方法来应对LLM的风险。企业还应该利用安全人工智能框架(SAIF)、NeMo Guardrails或MITRE ATLAS等现有框架,将安全措施纳入其人工智能系统中。
企业还需要监控和记录用户与LLM的互动,并定期审核和审查LLM的响应,以检测潜在的安全和隐私问题,并相应地更新和微调LLM。
标签:
-
2022-09-15 14:23:06
杨莉娜租借加盟巴黎圣日耳曼 与姆巴佩梅西拉莫斯一起共事<
北京时间9月13日下午,法甲女足俱乐部巴黎圣日耳曼正式官宣中国女足国脚杨莉娜完成租借加盟,合同期至2023年6月。杨莉娜成为目前国家队中第
-
2022-02-07 14:57:45
奇迹!绝杀!女足亚洲杯逆转夺冠!<
刚刚,中国女足上演逆转绝杀奇迹!她们在亚洲杯决赛中3:2力克韩国队,时隔16年再夺亚洲杯冠军!
-
2022-02-07 14:57:45
中国政府与阿根廷共和国政府签署共建“一带一路”谅解备忘录<
新华社北京2月6日电(记者安蓓)国家发展改革委6日称,国家发展改革委主任何立峰与阿根廷外交、国际贸易和宗教事
-
2022-02-07 14:57:43
中华人民共和国和阿根廷共和国关于深化中阿全面战略伙伴关系的联合声明(全文)<
新华社北京2月6日电中华人民共和国和阿根廷共和国关于深化中阿全面战略伙伴关系的联合声明一、应中方邀请,阿根廷
-
2022-02-07 14:57:40
春节假期国内旅游出游2.51亿人次<
春节遇冬奥,旅游年味浓。根据文化和旅游部数据中心测算,2022年春节假期7天,全国国内旅游出游2 51亿人次,同比
-
2023-06-29 17:01:16
越流行的大语言模型越不安全 世界视点
近日,安全研究人员用OpenSSF记分卡对GitHub上50个最流行的生成式AI大
-
2023-06-29 16:32:52
恒瑞医药:子公司获得药物临床试验批准通知书_全球要闻
恒瑞医药公告,子公司天津恒瑞医药有限公司收到国家药品监督管理局核准
-
2023-06-29 16:16:52
奥浦迈:控股股东兼董事长增持公司股份
【【奥浦迈(688293)、股吧】:控股股东兼董事长增持公司股份】6月29日
-
2023-06-29 15:54:31
今世缘(603369):国缘坚持守正创新,注重香型融合-全球新资讯
格隆汇6月29日丨有投资者向今世缘(603369)(603369)提问:公司重点培育
-
2023-06-29 15:30:46
第三次执教梅西!迈阿密国际官宣前巴萨主帅上任 还曾执教阿根廷 全球观点
6月29日,美国职业足球大联盟的球队迈阿密国际官方宣布,阿根廷人马蒂
-
2023-06-29 15:00:45
当前速递!2023年第1期北京普通小客车指标核查进展怎么查?
2023年第1期北京普通小客车指标核查进展怎么查?家庭申请人可在北京市小
-
2023-06-29 14:58:50
当前滚动:联想香港官网系统人机_联想香港官网
1、ThinkPadT470系列于2017年上市,搭载英特尔7代处理器,940MX显卡,1
-
2023-06-29 14:01:51
北京市第二次普通高中学考合格考明日开考
2023年第二次高中学考合格考将于6月30日至7月2日进行,考试科目为语文
-
2023-06-29 13:56:38
鸠子的妖怪邮递员_关于鸠子的妖怪邮递员简述 天天简讯
小伙伴们,你们好,今天小夏来聊聊一篇关于鸠子的妖怪邮递员,关于鸠子
-
2023-06-29 13:07:36
花鞴扇|播资讯
1、花鞴扇,汉语词语,拼音是huābèishàn,意思是开花时期所吹来的风
-
2023-06-29 12:27:04
四川考生王俊凯高考理科699分 数学考了150分
我获悉四川绵阳的理科考生王俊凯在今年的高考中取得了699分的总分,数
-
2023-06-29 11:59:20
《鱿鱼游戏》第二季全阵容官宣!T.O.P也将参演
搜狐韩娱讯Netflix今天公布了《鱿鱼游戏》第二季的另一组主要演员阵容
-
2023-06-29 11:49:21
梦赟|老头子 新动态
老头子梦赟我父亲是个奔90的老头子了,由于父亲对于“老头子”的理解有
-
2023-06-29 10:53:50
一字之差也不行 成都双流两男子涉嫌变造机动车号牌“遭起”
一字之差也不行 成都双流两男子涉嫌变造机动车号牌“遭起”,违法,交警
-
2023-06-29 10:50:40
银行不同意停息挂账怎么办?信用卡一般的信用卡利息是多少?_每日热门
银行不给办理停息挂账怎么办?自己的逾期情况不是很严重,向银行表
-
2023-06-29 10:13:42
焦点简讯:信阳市公安局举办“砺刃行动 护企安民”2023年集中返赃大会
大河网讯6月28日,信阳市公安局在平桥世纪广场举办以“砺刃行动护企安
-
2023-06-29 10:07:41
青春诗句唯美诗句现代(青春诗句)
来为大家解答以上的问题。青春诗句唯美诗句现代,青春诗句这个很多人还
-
2023-06-29 09:49:03
体内排毒的最好方法?
在中医看来,我们体内有很多毒素,凡是不能及时排出体外、对我们的身体
-
2023-06-29 09:16:58
世界热议:中国天眼FAST探测到纳赫兹引力波存在证据
中国日报6月29日电(记者蒋成龙)近日,由中国科学院国家天文台等单位
-
2023-06-29 08:54:36
排查整治安全隐患 共促安全健康发展_天天信息
原标题:排查整治安全隐患共促安全健康发展工人日报—中工网记者黄洪涛
-
2023-06-29 08:52:37
中信证券:工企利润降幅持续收窄 利润结构有所改善
中信证券指出,2023年1-5月,规上工企利润同比下降18 8%,较前值回升1
-
2023-06-29 08:09:18
全球头条:刘强东拟出售约2790万美元京东股
App6月29日消息,根据京东提交的SEC文件(144表格),京东集团董事长刘
-
2023-06-29 07:09:58
民生商品价格有所上涨-今日热讯
本期民生商品价格有所上涨。据监测,与上期(6月6日-6月12日,下同)相
-
2023-06-29 06:35:52
环球快消息!给国足长脸!武球王再获亚足联认可!无奈对手是亚冠9球怪兽
其实在俱乐部的比赛中,何止这个成绩,武磊所在的上港队还打进了本年度
-
2023-06-29 05:44:43
保康警方打掉一涉诈“引流”犯罪团伙,4人落网!-世界关注
保康警方打掉一涉诈“引流”犯罪团伙,4人落网!---6月27日,湖北省保
-
2023-06-29 04:19:47
谷的繁体字怎么写_谷的繁体字 每日快播
1、就因为谷字好写笔画少并且与谷字同音这是同音代替法简化汉字其实谷
-
2023-06-29 02:10:19
每日报道:江西省教师资格证报名入口(江西省教师资格证报名入口网址
江西省教师资格证,简称“江西教资”,是江西省委、省政府根据国家有关
-
2023-06-29 00:35:12
白细胞计数偏高是什么意思_红细胞计数偏高是什么意思|微速讯
1、病情分析:你好,单纯的红细胞偏高,没有多大的临床意义,有可能是饮水
-
2023-06-28 22:38:40
快资讯丨河北送变电:加强隐患排查 筑牢迎峰度夏安全防线
人民网石家庄6月28日电“预报今天有降雨天气,容易引发设备故障,威胁
-
2023-06-28 21:47:50
观天下!共话中国经济新机遇丨通讯:中国水稻,中国在非洲的亮丽名片
自从2017年开始种植从中国引进的杂交水稻后,住在马达加斯加马义奇镇的