LLM 及其工作原理？

LLM作为复杂的预测引擎运行，按顺序处理文本，根据先前 token 之间的关系和训练数据中的模式来预测下一个 token。它们不直接预测单个 token，而是生成可能下一个 token 的概率分布，然后使用温度和 top-K 等参数进行采样。模型反复将预测的 token 添加到序列中，迭代构建响应。这种逐 token 预测过程，结合庞大的训练数据集，使LLM能够在各种应用和领域生成连贯、具有上下文相关性的文本。