注意力机制

由 Google 研究人员开发，注意力机制允许神经网络在做出预测时专注于输入数据中最相关的部分。它不是统一地处理整个输入，而是为输入的不同部分分配权重，指示其重要性。然后使用这些权重创建输入的加权平均值，用于进一步处理。这允许模型选择性地关注输入中最有信息量的部分，从而提高性能，特别是在涉及序列数据（如文本或图像）的任务中。