llm on Zhang Jian Ao Notes

llm on Zhang Jian Ao Notes https://zhangjianao.com/tags/llm/ Recent content in llm on Zhang Jian Ao Notes Hugo -- gohugo.io zh-cn Wed, 20 May 2026 00:00:00 +0000 LLM Context https://zhangjianao.com/posts/llm_context/ Wed, 20 May 2026 00:00:00 +0000 https://zhangjianao.com/posts/llm_context/ Context Length 大模型本身的 context 长度在模型训练阶段就已经固定了。在部署大模型的时候，服务引擎可以通过 RoPE Scaling 技术增加 context 长度，但是：部署时增加 context 长度会使模型占用