大模型的推理过程:KVCache 的引入(Prefill 和 Decode)

大模型的推理过程:KVCache 的引入(Prefill 和 Decode)

作者:董董灿

在前面介绍完位置编码后,我们来从模型的视角看一个大模型中非常重要的技术,那就是 KVCache 缓存技术。

乍一看这个技术好像很深奥,又是 KV 又是缓存的,但是,如果......