定义
context-optimization 指在有限上下文窗口与成本预算下,对输入信息进行筛选、压缩、排序与结构化编排,以提升模型任务完成质量与稳定性。
核心内涵
上下文优化(Context Optimization)是指在有限的输入窗口或资源约束下,通过一系列技术手段提升输入信息的质量、相关性与信息密度的过程。在与大语言模型交互时,由于模型存在上下文长度限制及注意力衰减问题,直接输入海量原始数据往往会导致关键信息丢失或计算成本过高。上下文优化旨在通过压缩、过滤、重排等策略,提取出对当前任务最有价值的核心背景,从而提升系统的生成质量与运行效率。
实践要点
- 信息过滤与去噪:在将数据送入处理管道前,剔除冗余、重复或与当前意图无关的背景信息。
- 动态截断与压缩:采用文本摘要、关键词提取或提示词压缩算法,在保留核心语义的前提下缩减 Token 消耗。
- 相关性重排:在检索增强生成场景中,对召回的多个上下文片段进行二次打分与排序,将最相关的内容放置在模型注意力最集中的位置。
- 结构化组装:通过清晰的标记语言或模板规范上下文的呈现结构,降低模型解析复杂背景信息的难度。
- 预算与窗口协同:结合模型上下文上限、延迟目标与成本约束,动态分配“历史信息、检索片段、当前指令”的 Token 配额。
相关词条
相关文档
- 长上下文提示实践;关联理由:解说;说明:该文给出长上下文下的信息放置与提示组织策略,直接对应本词条的压缩与重排实践。
- Contextual Retrieval:上下文检索方法;关联理由:上下游;说明:该文聚焦检索侧提升召回片段质量,是上下文优化在 RAG 场景中的上游输入质量保障。
- 深度智能体(Deep Agents)的上下文管理;关联理由:解说;说明:该文解释了智能体多步执行中的上下文分层与记忆策略,可直接补充本词条工程落地方式。