什么是上下文窗口？

和人一样，大模型“工作”时也需要一块能摊放资料的地方，这就是上下文窗口。它决定了模型在一次对话中能同时“看见”并处理多少内容：你的提问、上传的文档、之前的聊天记录，都要先装进这个窗口，模型才能据此生成回答。

窗口容量用 Token 来衡量。Token 是模型处理文字的最小单位，大致相当于一个汉字或半个英文单词（不同模型的分词方式有差异）。例如 128K Token 的窗口，约等于十几万字的一部长篇小说。窗口越大，模型一次能“摊开”的资料就越多。

一句话理解：上下文窗口就是大模型的“工作记忆”——桌面有多大、一次能摊多少资料，决定了它能干多复杂的活。

要注意，上下文窗口不等于模型的知识。模型从训练数据中学到的本领存在“参数”里，相当于长期记忆；而窗口里的内容是临时记忆，会话关闭或超出容量后就不再可用。

上下文窗口是怎么运作的？

每一轮对话时，系统会把“系统提示＋历史对话＋你的新输入”拼接成完整输入交给模型；模型通读整个窗口后，逐个 Token 生成回答。随着对话推进，窗口会不断被“填满”。

窗口是有边界的。当累计内容超过上限，最早的记录就会被截断或压缩——这正是模型聊久了会“忘记”开头说过话的原因。此外，研究还发现模型对窗口开头和结尾的内容更敏感，中间部分的细节容易被忽略，业内称之为“lost in the middle”现象。

更难的是，注意力计算量会随窗口长度急剧增长，所以“窗口翻倍”背后需要长文本训练、KV 缓存优化等一系列工程手段支撑，并非简单地“多塞内容”。

主流产品的窗口有多大？

近两年国产大模型的上下文能力进步飞快，从早期的 4K、8K 一路扩展到 128K 甚至百万级 Token。

说明：各家版本迭代很快，同一产品不同型号的窗口差异也大，具体请以官方文档为准。另外，可灵、即梦这类图像/视频生成产品并不涉及“上下文窗口”概念，它主要描述对话与文本类大模型。

有哪些应用场景？

• 长文档分析：整本合同、论文、财报直接交给模型，让它总结要点、提炼风险条款、做跨章节问答；
• 超长对话：智能客服、私人助理需要记住几小时前的沟通细节，窗口越大越“记事”；
• 代码工程：把多个源码文件放进窗口，让模型理解项目结构、定位 Bug、完成跨文件重构；
• 长篇写作与角色扮演：小说创作要求前文情节和人物设定始终“在场”，窗口越大越不容易崩人设；
• 企业知识问答：配合 RAG 检索，把相关资料填入窗口，让模型基于内部文档给出有依据的回答。

常见问题

上下文窗口越大越好吗？

不一定。窗口越大，计算成本和响应延迟越高；按 Token 计费的 API，长文本输入的费用会明显上升。而且“装得下”不等于“用得好”，超长内容中模型仍可能漏读细节。日常任务里，精炼、有条理地组织上下文，往往比一味追求长度更有效。

为什么聊着聊着模型就“失忆”了？

多数情况是窗口满了，最早的对话被截断，模型自然无从引用。解决办法：开启新会话并粘贴关键背景；让模型先做阶段性总结再继续；或选择支持外部记忆、知识库功能的产品。

上下文窗口和“记忆”是一回事吗？

不是。窗口里的内容属于临时工作记忆，会话结束或被截断后就消失；产品层面的“长期记忆”要靠外部存储与检索实现。两者互补：窗口负责“此刻在想”，记忆系统负责“过去记过”。