长上下文处理

长上下文处理涉及以保持模型准确性的方式，将大量文本输入 AI 模型，例如整个代码库、长文档或扩展的对话历史。即使模型的技术上下文窗口足够大，随着内容量的增加，性能也可能下降，这个问题通常被称为上下文腐烂。管理此问题的技术包括内容分块、仅检索最相关的部分，以及总结旧材料而不是完整传递它。