自注意力

自注意力是一种机制，允许模型在处理输入序列时关注其不同部分。自注意力不是独立地处理序列中的每个元素，而是计算所有元素的加权求和，其中权重由元素之间的关系决定。这使模型能够捕捉输入序列内部的依赖关系和上下文信息，无论它们彼此之间的距离如何。