据美国安全研究人员称，只要对 20 世纪 80 年代的科幻类电影（比如《战争游戏》）中出现的 ASCII 编码艺术稍有了解，就可能骗过大模型，让它们违反自己的安全规则。
ASCII 编码艺术指的是由 1963 年 ASCII 标准定义的 95 个可打印字符（总共 128 个）拼凑而成的各种图片。1983 年的电影《战争游戏》或《创》中就用这种艺术绘制了一些图像，显示在剧情中出现的电脑屏幕上。用这种方法发起的越狱攻击使用了字符绘制的图像来“掩护”提示词，这样这些提示就不会被大模型的安全性微调方法标记出来了。
来自美国四所大学的研究人员开发了名为“ArtPrompt”的越狱手段，主要针对那些特定提示中可能被大模型的安全系统拒绝的单词。它使用 ASCII 编码艺术把安全系统识别出来的单词绘制成图形，这样就做成了隐形的提示词。这些隐藏提示可以诱导被攻击的大模型做出一些不安全的行为。
研究人员在五个业内领先的大模型（GPT-3.5、GPT-4、Gemini、Claude 和 Llama2）中测试了这种越狱手段，结果表明它们都很难识别伪装成 ASCII 图形的提示。
这种越狱方法只需要对大模型进行黑盒访问即可，并且可以让接受测试的五个大模型都“有效且高效地被诱导出不良行为”。研究人员表示这是一个漏洞，因为现在大模型内的安全防御机制是基于语义的。
与此同时，来自 Meta、伦敦大学学院和牛津大学的一组研究人员介绍了一种通过“彩虹团队”加强大模型内部安全保护能力的方法，该方法侧重于语义端本身的稳健性。
他们的论文将对抗性提示生成方法视为一种质量多样性问题。相应地，它使用开放式搜索来生成提示，可以发现模型在安全、问答和网络安全等众多领域的漏洞。
该方法采用称为“质量多样性”的进化搜索框架，以生成可以通过大模型安全保障措施的对抗性提示。
根据该论文，实现彩虹团队方法需要三个基本构建块：1）一组指定多样性维度的特征描述符（例如“风险类别”或“攻击风格”）； 2) 一个变异算子，用于演化对抗性提示；3) 一个偏好模型，根据对抗性提示的有效性对其进行排名。
研究人员表示，彩虹团队框架目前仅在 Llama-2 Chat 模型上做了测试，在各个规模的模型上的攻击成功率为 90%。
这两篇研究论文都重点关注生成式人工智能模型的安全保障措施的稳健性，以及大模型越狱可用的形式。随着模型规模和范围的扩大，针对对抗性提示的预防措施显然也需要加强。
原文链接：https://www.thestack.technology/the-80s-come-for-llms-with-ascii-art/"