Token / 分词

定义

Token 是语言模型处理的基本单元，在英文中大约对应 3-4 个字符或 0.75 个词，中文中通常每个汉字约等于 1-2 个 token。分词是在将文本输入模型前将其拆分为 token 的过程。Token 决定了定价（大多数 API 按 token 计费）、上下文窗口限制和模型速度。