提示注入是一种由 AI Red Teamer 测试的关键漏洞。他们试图将指令插入到 LLM 的输入中,以覆盖其预期的系统提示或任务,导致其执行未授权操作、泄露数据或生成恶意输出。这测试了模型区分可信指令与潜在有害用户/外部输入的能力。
用自己的话写下这一站的结论。