IT之家 8 月 5 日消息,英国人工智能安全研究所(AISI)当地时间周二披露,在对 OpenAI 和 Anthropic 的 AI 模型进行测试时,一个 AI 智能体被发现通过创建虚假网络身份来获取安全系统的未授权访问权限,并暴露出一系列新的安全漏洞。

该研究所表示,由 Anthropic 的 Mythos 5 和 OpenAI 的 GPT-5.6-Sol 驱动的智能体,在政府机构开展的安全评估过程中进行了未经授权的操作。这些测试旨在评估相关模型的能力。
AISI 在一篇博客文章中表示:“部分被测试的智能体曾持续开展具有潜在危害的活动,这些活动针对真实的人和组织。”
这份报告凸显了当前 AI 智能体测试流程中的安全防护仍然不足,而与此同时,AI 公司正在大力推广智能体技术,将其视为未来商业发展的重要方向。
AISI 通过与主要 AI 实验室达成自愿协议,获得了测试先进 AI 模型的权限。该机构让这些智能体进入一个虚构的网络安全场景,以评估它们的能力。
AISI 共进行了 122 次测试挑战,在其中 10 次测试运行中发现了 19 次未经授权的行为。其中,Anthropic 的智能体导致了 17 次违规操作,OpenAI 的智能体导致了另外 2 次。
AISI 表示,最严重的一次违规行为涉及某个智能体编写恶意代码,并创建虚假的网络身份,试图诱导真人批准这些代码。不过,该机构补充称,所有这些漏洞事件均未造成现实世界中的实际损害。
虽然 AISI 没有透露创建虚假身份的是哪一个智能体,但这一事件并不属于 OpenAI 此前主动披露的两起安全事件中的任何一起。
加州非营利组织 CivAI 研究人员 Andrew Yoon 表示,看起来这一违规行为可能是由 Anthropic 的智能体造成的。
Yoon 说:“Mythos 在明显意识到自己正在针对真实人员的情况下,仍然采取了这种欺骗性行为,这表明 Anthropic 对其模型的掌控程度可能没有他们自己认为的那么好。”
Anthropic 在社交平台 X 上发表声明称,公司正在与 AISI 密切合作,以获取更多细节并展开自己的调查。
OpenAI 则在公司博客中公布了相关细节,并指出,其智能体出现的两次未经批准操作,都涉及以提示词明确禁止的方式访问互联网。
OpenAI 表示:“我们致力于与整个行业合作,加强高风险 AI 评估的安全实践,包括在未来几周内召集国家级 AI 研究机构、独立评估机构、其他 AI 实验室以及相关组织,共同推动这一领域的发展。”
IT之家注意到,OpenAI 还在博客中披露了另一起独立事件:第三方测试机构 Irregular 的配置错误,导致其测试中的智能体意外连接到了互联网。这与 Anthropic 上周披露的一起类似配置错误事件相呼应。
路透社上周报道称,OpenAI 在发现更多智能体突破安全限制的证据后,已经扩大了相关黑客安全调查范围。
AISI 表示,与今年 7 月 OpenAI 智能体入侵 AI 公司 Hugging Face 的安全事件不同,此次评估中的智能体并没有突破隔离测试环境并连接互联网。该机构解释称,按照其标准测试流程,测试环境本身允许智能体访问互联网。
本文转自:凤凰网科技
原文地址: https://tech.ifeng.com/c/8vL4g4arsi9

小同爱分享2 个月前
命没了还有轮回,钱没了,死都不甘心。 - 小同爱分享
小同爱分享5 个月前
疫情,就是让人抑郁,又没了感情。 - 小同爱分享