Microsoft 365 Copilot中的一个零点击AI漏洞可导致通过电子邮件窃取数据

网络安全公司Aim Labs发现了一个名为EchoLeak的严重新安全问题,该问题影响了广受欢迎的人工智能助手Microsoft 365 (M365) Copilot。该漏洞属于零点击漏洞,这意味着攻击者无需用户交互即可窃取敏感的公司信息。

 

Aim Labs已与微软安全团队分享了此漏洞的详细信息及其利用方式,到目前为止,尚未发现有任何客户受到此新威胁的影响。

需要说明的是,M365 Copilot是一款基于RAG的聊天机器人,这意味着它会从用户的公司环境中收集信息,例如电子邮件、OneDrive上的文件、SharePoint网站和Teams聊天,以回答用户的问题。虽然Copilot的设计目标是仅访问用户有权访问的文件,但这些文件仍然可能包含公司的私人或机密数据。

EchoLeak的主要问题是一种新型攻击,Aim Labs称之为“LLM 范围违规”。攻击者通过不受信任的电子邮件发送指令,导致人工智能(大型语言模型,LLM)错误地访问公司私有数据,从而导致人工智能违反自身制定的信息访问规则。Aim Labs将此描述为“低权限电子邮件”以某种方式“关联到特权数据”。

攻击始于受害者收到一封电子邮件,邮件内容经过精心设计,看起来像是发给收件人的指令,而不是发给人工智能的指令。这一技巧可以帮助它绕过微软的安全过滤器(称为XPIA分类器),该过滤器可以拦截有害的人工智能指令。一旦Copilot阅读了该电子邮件,它就会被诱骗将敏感信息发送到公司网络之外。

Aim Labs解释说,为了获取数据,他们必须设法绕过Copilot的防御措施,例如它试图隐藏外部链接并控制哪些数据可以发送。他们发现了一些巧妙的方法,利用链接和图像的处理方式,甚至SharePoint和Microsoft Teams管理URL的方式,秘密地将数据发送到攻击者的服务器。例如,他们发现了一种无需用户操作即可使用特定Microsoft Teams URL获取机密信息的方法。

这一发现表明,许多人工智能聊天机器人和代理存在普遍的设计问题。与早期研究不同,Aim Labs展示了一种利用此类攻击窃取高度敏感数据的实用方法。这种攻击甚至不需要用户与Copilot进行对话。

Aim Labs还讨论了RAG喷洒技术,该技术旨在让攻击者更频繁地被Copilot捕获恶意邮件,即使用户询问的主题不同。攻击者会将很长的邮件拆分成多个部分,从而增加其中一部分与用户查询相关的概率。目前,使用M365 Copilot的组织应该警惕这种新型威胁。

SOCRadar首席信息安全官Ensar Seker警告称,Aim Labs的EchoLeak发现揭示了AI安全的一个重大漏洞。该漏洞揭示了攻击者如何仅凭一封电子邮件即可窃取Microsoft 365 Copilot中的数据,而无需用户交互。通过绕过过滤器并利用LLM范围违规,该漏洞凸显了AI代理设计中更深层次的风险。

Seker敦促各组织将人工智能助手视为关键基础设施,应用更严格的输入控制,并禁用外部电子邮件提取等功能以防止滥用。

发表评论

评论已关闭。

相关文章