微软开发工具以防AI聊天机器人被教坏 | 微软公司当地时间3月28日在一篇博客文章中表示，Azure AI Studio正在内置新的安全功能，允许开发人员使用自己的数据构建定制的人工智能助手。这些工具包括“提示词防护盾”（Prompt Shields），旨在检测和阻止企图使人工智能模型以意想不到的方式运行的“提示词攻击”或“越狱”。微软还解决了“间接提示词输入”问题，即黑客将恶意指令插入模型所训练的数据中，并诱使其执行诸如窃取用户信息或劫持系统等未经授权的操作。微软负责人工智能的首席产品官Sarah Bird说，这种攻击是“一种独特的挑战和威胁”。她说，新的防御措施旨在发现可疑输入并实时阻止它们。微软还推出了一项新功能，当AI模型编造东西或产生错误反应时，它会提醒用户。
相关内容