Brave Software 发现了 Perplexity AI 的 Comet 浏览器的一个安全漏洞,该漏洞揭示了攻击者如何欺骗其人工智能助手泄露私人用户数据。
在概念验证中演示8月20日发表的一篇Reddit评论中,Brave的研究人员发现了隐藏的指令。当Comet的AI助手被要求总结页面内容时,它不仅完成了总结,还执行了隐藏的指令。
困惑者对这一发现的严重性提出了质疑。一位发言人告诉解密该问题“在任何人发现之前就已修复”,并表示没有用户数据泄露。“我们有一个非常强大的赏金计划,”该发言人补充道。“我们直接与Brave合作,识别并修复了这个问题。”
Brave 正在开发自己的代理浏览器,它坚称该漏洞在补丁发布数周后仍然可以被利用,并认为 Comet 的设计使其容易受到进一步的攻击。
Brave 表示,该漏洞源于 Comet 等代理浏览器处理网页内容的方式。报告解释道:“当用户要求 Comet 总结某个页面时,它会直接将该页面的一部分内容输入到其语言模型中,而不会区分用户的指令和不受信任的内容。这使得攻击者能够嵌入隐藏命令,而 AI 会将这些命令当做来自用户的指令来执行。”
即时注入:旧想法,新目标
这种漏洞被称为即时注入攻击。它不是欺骗人类,而是通过纯文本隐藏指令来欺骗人工智能系统。
“它类似于传统的注入攻击——SQL 注入、LDAP 注入、命令注入,”首席黑客 Matthew Mullins揭示安全性,告诉解密“这个概念并不新鲜,但方法不同。你利用的是自然语言,而不是结构化代码。”
安全研究人员几个月来一直警告称,随着人工智能系统获得更大的自主权,快速注入可能会成为一个令人头疼的问题。今年5月,普林斯顿大学的研究人员显示如何通过“内存注入”攻击来操纵加密人工智能代理,即将恶意信息存储在人工智能的内存中,然后像真实信息一样进行操作。
即使是发明该术语的开发商西蒙·威利森 (Simon Willison) 也即时注入表示,问题远不止 Comet。“Brave 安全团队报告了 Comet 中存在严重的提示注入漏洞,但 Brave 自己正在开发类似的功能,看起来也注定会出现类似的问题,”他说道。发布在 X 上。
Brave 隐私和安全副总裁 Shivan Sahib 表示,其即将推出的浏览器将包含“一系列有助于降低间接提示注入风险的缓解措施”。
他告诉记者:“我们计划将代理浏览隔离到其自己的存储区域和浏览会话中,这样用户就不会意外地将自己的银行和其他敏感数据的访问权限授予代理。”解密“我们很快会分享更多细节。”
更大的风险
Comet 的演示凸显了一个更广泛的问题:AI 代理的部署权限很高,但安全控制却很薄弱。由于大型语言模型可能会误解指令(或过于字面地执行指令),因此它们特别容易受到隐藏提示的影响。
“这些模特可能会产生幻觉,”马林斯警告说。“他们可能会完全失控,比如问‘你最喜欢什么口味的Twizzler?’,或者得到自制枪支的指导。”
由于AI代理可以直接访问电子邮件、文件和实时用户会话,风险极高。“每个人都想把AI融入到一切事物中,”Mullins说。“但没有人测试模型拥有哪些权限,或者当它泄露信息时会发生什么。”