Tokens

标记是 LLM 处理文本的基本单元，通过将文本分解为单词、子词或字符等更小的组件创建。理解标记至关重要，因为模型在序列中预测下一个标记，API 成本基于标记数量，且模型对输入和输出的标记数量有限制。