AI Red Teamer 还必须理解和测试针对提示黑客的防御措施。这包括评估输入清理、输出过滤、指令界定(例如,XML 标签)、上下文感知检查、模型微调以增强抗性,以及将最小权限原则应用于 LLM 功能和工具访问的有效性。
用自己的话写下这一站的结论。