/ 摘要
LLM 生成的每一个 token 都依赖 KV 缓存，也就是模型对当前请求的运行记忆。
管好它，推理就又快又省；管不好，同样的前缀会被一遍遍重算，白白烧掉 GPU。这场分享把 KV 缓存当作真正决定 Kubernetes 上 LLM 推理性能的关键来讲。
我们用 KServe（现已是 CNCF 项目）部署模型，然后深入速度和成本真正产生差别的地方：
1. vLLM 的前缀缓存：在同一个 worker 内复用缓存
2. 用 llm-d 做 KV 缓存感知路由：把请求发给已经持有其前缀的 worker，而不是重新计算
3. 预填充与解码分离：把两个阶段拆到不同的 GPU 池，并在它们之间迁移缓存
我们会对比吞吐量、首 token 延迟和 GPU 成本的真实前后数据。
听完之后，你会明白为什么 KV 缓存是推理的瓶颈，以及解决它的 Kubernetes 原生模式。