多头注意力

多头注意力是一种在注意力过程中多次独立运行的注意力机制。这些独立的注意力机制中的每一个被称为一个“头”。然后，将所有头的输出连接起来并进行线性变换，以产生最终输出。这允许模型用不同的学习表示关注输入序列的不同部分，从而捕捉比单个注意力机制更丰富的关系集。