提示注入攻击

提示词注入攻击是一种安全漏洞，攻击者精心构造恶意输入以操纵或利用语言模型等 AI 模型，从而产生意外或有害的输出。这些攻击涉及在提示词中注入欺骗性或对抗性内容，以绕过过滤器、提取机密信息或使模型以不应有的方式响应。例如，提示词注入可能通过改变模型的预期行为，诱骗模型泄露敏感数据或生成不当响应。