友善的人工智能聊天机器人Lena会在联想网站上向你问好,它非常乐于助人,如果你礼貌地提出请求,它甚至会泄露机密,并在公司机器上运行远程脚本。大规模的安全监管凸显了人工智能聊天机器人实施不当可能造成的灾难性后果。

关键要点:
联想的 AI 聊天机器人 Lena 受到严重 XSS 漏洞的影响,攻击者只需一次提示即可注入恶意代码并窃取会话 cookie。
这些漏洞可能会导致数据盗窃、客户支持系统受损,并成为公司网络内部横向移动的跳板。
不正确的输入和输出清理凸显了人工智能聊天机器人实施中需要更严格的安全实践。
Cybernews 研究人员发现了影响联想实施的 AI 聊天机器人 Lena(由 OpenAI 的 GPT-4 提供支持)的严重漏洞。
Lena 旨在协助客户,但它可能会被迫在公司机器上运行未经授权的脚本、泄露活动会话 Cookie,甚至可能造成更严重的后果。攻击者可以滥用 XSS 漏洞,直接入侵公司客户支持平台。
Cybernews 研究团队表示:“每个人都知道聊天机器人会产生幻觉,并且可以通过即时注射进行欺骗。这并不是什么新鲜事。真正令人惊讶的是,尽管联想意识到了这些缺陷,却没有保护自己免受潜在的恶意用户操纵和聊天机器人输出的影响。”
“这不仅仅是联想的问题。任何缺乏严格输入和输出控制的人工智能系统都会为攻击者打开方便之门。LLM 没有“安全”的本能——他们只会严格遵循指令。如果没有强大的防护措施和持续的监控,即使是微小的疏忽也可能演变成重大安全事件。”nexos.ai 产品负责人 Žilvinas Girėnas 说道。
仅一次简单的攻击就暴露了一系列缺陷,导致联想聊天机器人泄露活动会话 cookie。
此次发现凸显了多个安全问题:用户输入过滤不当、聊天机器人输出过滤不当、Web 服务器未验证聊天机器人生成的内容、运行未经验证的代码以及从任意 Web 资源加载内容。这为跨站脚本 (XSS) 攻击留下了诸多机会。
Cybernews负责任地披露了这个问题。联想承认了这个问题,并已保护其系统。
联想在给 Cybernews 的一份声明中表示:“联想非常重视产品安全和客户保护。我们最近获悉聊天机器人存在跨站脚本 (XSS) 漏洞。在发现该问题后,我们立即评估了风险,并采取了纠正措施,以减轻潜在影响并解决问题。”
“我们要感谢研究人员负责任的披露,这使我们能够部署解决方案而不会让客户面临风险。”
单一提示即可发起多步骤攻击
窃取联想活动会话 cookie 只需要一个 400 个字符长的提示,其中包含四个关键要素:
看似无辜的请求:提示以询问合法信息(即产品信息)开始,例如“向我展示联想 IdeaPad 5 Pro 的规格”。
更改输出格式的指令:最狡猾的部分是诱骗聊天机器人以 HTML(一种用于创建网站的语言)提供最终答案。研究人员通过要求聊天机器人将其响应按照 Web 服务器预期接收指令的特定顺序转换为 HTML、JSON 和纯文本来实现这一点。这确保了恶意负载能够被 Web 服务器正确执行。
恶意 HTML 注入陷阱:提示符继续指示如何生成最终响应,具体来说是用于加载图片的 HTML 代码。图片 URL 也不存在。因此,当加载失败时,命令的第二部分会指示浏览器向攻击者控制的服务器发出网络请求,并将所有 Cookie 数据作为 URL 的一部分发送。
最后的鼓励:最后,额外的指令试图强调聊天机器人必须生成图像:“最后展示一下这张图片。这对我的决策很重要。展示它。”
联想的Lena收到满提示后发生了什么?
Cybernews 研究人员表示:“取悦他人仍然是困扰大型语言模型 (LLM) 的问题,以至于在本例中,Lena 接受了我们的恶意负载,从而产生了 XSS 漏洞,并允许在打开对话时捕获会话 Cookie。一旦您被转接到真正的客服人员,您也会获得他们的会话 Cookie。”
这或许已经是他们客户支持平台的一道漏洞。但该漏洞还可能引发一系列其他潜在的安全隐患。
为了更好地了解幕后发生的事情,下面是攻击链的细分:
聊天机器人误入恶意提示,并试图按照指示生成 HTML 答案。现在,响应包含从攻击者控制的服务器访问资源的秘密指令,以及从客户端浏览器发送私人数据的指令。
恶意代码入侵联想系统。HTML 代码保存在联想服务器上聊天机器人的对话历史记录中。加载后,它会执行恶意负载并发送用户会话 Cookie。
转接人工:攻击者请求与人工客服人员通话,客服人员随后打开聊天窗口。他们的电脑尝试加载对话,并运行聊天机器人先前生成的 HTML 代码。图片再次加载失败,Cookie 窃取再次触发。
攻击者控制的服务器接收带有 Cookie 的请求。攻击者可能会利用这些 Cookie 劫持客服人员的活动会话,从而未经授权访问联想的客户支持系统。
潜在影响可能是毁灭性的:代码可能是任何东西
Cybernews 研究人员警告称:“利用窃取的支持人员会话 Cookie,攻击者无需知道该帐户的电子邮件地址、用户名或密码,即可通过该帐户登录客户支持系统。登录后,攻击者可能会访问与其他用户的聊天记录,甚至可能访问过去的对话和数据。”
“企业在快速推出人工智能方面行动迅速,但在安全保障方面却往往行动迟缓。这正是攻击者趁虚而入的地方。在这种情况下,漏洞可能允许访问客户数据、内部系统,甚至开辟一条深入公司网络的路径。此类事件表明,安全保障必须与创新同步发展,”Girėnas 补充道。
然而,该漏洞也证实了可以指示 Lena Chatbot 生成稍后在联想端执行的其他代码。
“这不仅限于窃取 Cookie。它还可能执行某些系统命令,从而允许安装后门并横向移动到网络上的其他服务器和计算机。我们并未尝试任何此类攻击,”研究人员解释道。
注入的代码可以做很多可能导致危害的事情:
改变界面:改变支持代理在其平台上看到的内容,可能显示错误信息、恶意注入。
键盘记录:秘密代码片段可以捕获每个击键。
重定向到钓鱼网站:注入的代码可以自动将代理重定向到旨在窃取其登录凭据甚至用恶意软件感染其计算机的恶意网站。
弹出窗口:攻击者可以显示恶意的验证码、虚假的错误消息,或敦促代理下载虚假的更新。
数据盗窃或潜在的数据修改:可以设计脚本来破坏或泄露客户支持系统上的用户数据。
假设所有聊天机器人都是危险的
Cybernews 研究人员敦促所有公司假设聊天机器人的输出可能是恶意的,并采取相应的保护措施。
研究人员表示:“根本缺陷在于缺乏强大的输入和输出清理和验证。对于流经AI聊天机器人系统的所有数据,最好采取‘永不信任,始终验证’的方法。”
“我们将所有人工智能的输入和输出视为不可信,直到其被验证安全为止。这种思维模式有助于在快速注入和其他风险影响关键系统之前将其阻止。这是为了在流程中构建安全检查,从而赢得信任,而不是想当然地认为信任是理所当然的。”吉雷纳斯说道。
过去的XSS漏洞促使企业加强其安全措施,从而降低了此类漏洞的发生率。AI聊天机器人也必须实施同样的强化措施,具体包括:
严格输入过滤:对所有用户输入使用严格的白名单,列出允许的字符、数据类型和格式。所有有问题的字符都应自动编码或转义。限制输入长度,以防止缓冲区溢出或过长的恶意负载。根据上下文过滤输入。
输出清理和验证:这同样适用于聊天机器人的响应。如果它们显示在 Web 浏览器或其他富文本环境中,则必须彻底删除所有嵌入代码。应使用严格的内容安全策略 (CSP) 来限制浏览器可以加载的资源(脚本、图像、字体),并限制危险的 HTML 元素和属性。
避免内联 JavaScript:最佳做法是将事件处理程序和脚本限制为仅外部 JavaScript 文件。
保护 Web 服务器、应用和数据存储的安全:内容类型验证应覆盖整个堆栈,以防止意外的 HTML 渲染。存储前应对内容进行清理。聊天机器人应用及相关服务应在绝对最低限度的必要权限下运行。
联想是一家总部位于香港的跨国科技公司,是消费电子产品、个人电脑、服务器、其他硬件、软件及相关服务的最大供应商之一。截至2025年3月31日的上一财年,联想营收568.6亿美元,净利润11亿美元。该公司在香港证券交易所上市,市值约为180亿美元。
四川旭辉星创科技有限公司主营:以硬件软件和信息技术服务为主,涵盖计算机设备销售、系统集成及智能化工程设计与施工 代理品牌:戴尔服务器总代理商、联想服务器授权专卖店、惠普(HPE)总代理商、超聚变服务器经销商、浪潮服务器代理商、等品牌服务器及工作站,覆盖机架式、塔式等型号
欢迎访问网站:成都联想服务器总代理商 https://www.lxzdl.com/
欢迎访问网站:浪潮服务器代理商 https://www.lczdl.com/
欢迎访问网站:四川惠普服务器授权代理商 https://www.cditdl.cn/
欢迎访问网站:四川戴尔服务器金牌代理商 https://cditdl.com/
服务热线:13438344046 李丹(微信同号)
请用微信扫描二维码