Token 与上下文窗口：大模型为何聊久了会遗漏信息

文章解释 Token 是大模型处理文本的基本单位，由 Tokenizer 切分，其数量直接影响上下文容量与 API 计费。上下文窗口指模型一次请求能处理的 Token 总量，系统指令、历史对话、工具定义、RAG 检索资料等都会占用容量。对话变长后早期信息可能被裁剪或摘要压缩，导致模型遗漏订单编号等关键内容。