Token

Tokens 是 LLM 处理的基本文本单位，通过将文本分解为单词、子词或字符等更小的组件而创建。理解 tokens 至关重要，因为模型会预测序列中的下一个 token，API 费用基于 token 数量计算，并且模型对输入和输出有最大 token 限制。