图像中的隐藏命令利用人工智能聊天机器人窃取数据

图像中的隐藏命令可以利用人工智能聊天机器人,通过新的图像缩放攻击导致Gemini等平台上的数据被窃取。

 

人工智能系统中新发现的一个漏洞可能允许黑客通过在普通图像中隐藏命令来窃取隐私信息。这项发现来自Trail of Bits的网络安全研究人员,他们发现一种利用图像缩放这一常见特征来欺骗人工智能模型的方法。这种攻击被称为“图像缩放攻击”。

AI模型通常会在处理大型图像之前自动缩小其尺寸。这正是漏洞所在。研究人员找到了一种方法,可以创建高分辨率图像,这些图像在人眼看来正常,但包含隐藏指令,只有当AI缩小图像时才会显示出来。这种“隐形”文本,即一种即时注入,可以在用户不知情的情况下被AI读取和执行。

研究人员在多个人工智能系统上演示了该攻击的有效性,包括谷歌的Gemini CLI、Gemini的网页界面和Google Assistant。在一个实例中,他们展示了恶意图像如何触发人工智能访问用户的谷歌日历,并将详细信息通过电子邮件发送给攻击者,而这一切都无需用户确认。

为了帮助其他人理解并防御这一新威胁,研究团队创建了一款名为Anamorpher的工具。其名称灵感源自“变形术”(anamorphosis),这是一种艺术技巧,可以使扭曲的图像在以特定方式观看时看起来正常。该工具可用于创建这些特殊图像,方便安全专业人员测试自己的系统。

研究人员推荐了一些简单有效的方法来防范此类攻击。其中一个关键的解决方案是始终向用户显示AI模型所看到的图像预览,尤其是在命令行和API工具中。

最重要的是,他们建议人工智能系统不应自动允许图像内命令触发的敏感操作。相反,在共享任何数据或执行任何任务之前,用户应该始终给予明确、清晰的许可。

发表评论

评论已关闭。

相关文章