AI看图暗藏隐私陷阱，你的数据正被无声窃取

AI看图暗藏隐私陷阱，你的数据正被无声窃取

近日，网络安全研究机构 Trail of Bits 的研究人员揭示了一种新型AI攻击方式，攻击者通过在高分辨率图像中嵌入恶意指令，利用AI系统对图像进行自动降采样的过程，使隐藏的指令显现并被大语言模型执行，从而造成用户数据泄露等风险。这一手法的出现，再次为AI应用的安全性敲响警钟。

该攻击方法的灵感来源于2020年德国布伦瑞克工业大学提出的图像缩放攻击理论。研究人员Kikimora Morozova与Suha Sabi Hussain进一步将其应用于AI场景，利用AI平台为节省计算资源而普遍采用的图像降采样机制，实现了对模型的隐蔽指令注入。

具体而言，AI系统在处理用户上传的高分辨率图像时，通常会使用诸如最近邻、双线性或双三次插值等算法对图像进行降采样，以降低后续处理的复杂度。攻击者可以针对这些算法的特性，精心设计图像，使得在降采样后，原本不可见的色块组合形成可被AI识别的文字指令。例如，在Trail of Bits的演示案例中，一张看似普通的图片在经过双三次降采样处理后，显现出黑色文字，模型将其识别为用户输入的一部分，进而执行恶意操作。

这种攻击的危害性在于其高度隐蔽性。用户难以通过肉眼察觉图像中的异常，而AI系统则在无提示的情况下执行了攻击者预设的指令。研究人员在测试中成功利用这一漏洞，在Gemini CLI环境中通过Zapier MCP的“trust=True”模式，未经用户确认即提取了Google日历数据并将其发送至外部邮箱。这一实验表明，该攻击手法具备实际造成数据泄露的能力。

目前，已验证受影响的平台包括Google Gemini CLI、Vertex AI Studio、Gemini网页与API接口、安卓设备上的Google Assistant以及Genspark等。研究团队还发布了开源工具Anamorpher（测试版），能够生成针对不同降采样算法的攻击图像，进一步表明这种威胁的广泛潜在影响。

这一发现凸显了当前AI系统在安全性设计上的不足。尽管降采样等优化手段提升了系统效率，但其安全副作用尚未得到充分评估。对于用户而言，在享受AI带来便利的同时，也需意识到其潜在风险，避免盲目信任AI系统的输出结果。

对于开发者和企业来说，应加强对输入数据的验证与过滤机制，采用多层次的安全防护策略，以防范此类新型攻击。同时，行业也需推动更安全的AI设计标准，从算法层面减少潜在漏洞。

在人工智能技术快速发展的背景下，安全与效率之间的平衡将成为持续面临的挑战。唯有通过技术迭代、规范制定与用户教育的多管齐下，才能更好地保障数据安全与用户隐私。

生成海报

（免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。 ）

本文来源于极客网，原文链接: https://www.fromgeek.com/ai/701472.html