10月14日学习笔记

Zhenguo Chen | 2026/10/14

HiSparse

动机

当前模型普遍存在着稀疏注意力机制123，即不需要每次attention都和前面所有token做计算，而是通过选择器indexer选择其中top-k的token做attention，这样计算量从$O(Context)$下降到了$O(k)$。但是HiSparse发现虽然计算少了但是显存依然存储着全部的KV用来计算时读取，随着请求并发提高，依然面临着显存瓶颈。HiSparse针对各种模型的indexer设计了一个“KV读取器”，用于动态加载KV到HBM，以提高请求吞吐。

方法

HiSparse4采取了如下方法实现动态加载。

  1. 小容量Cache加速： 根据观察，indexer的选择具有空间关联性，是locality的，往往相邻decode step选择会高度重合。并且通过实验发现LRU算法最适配这种淘汰模式。
  2. Kernel融合: 由于选择是在LLM每层计算展开的，所以如果动态加载不能在一定时间内完成就会极大提高计算时长，所以HiSparse选择了使用一个CUDA graph完成所有流程，其在SRAM中维护了一个堆，用LRU算法管理Cache中的KV。
  3. prefetch: 根据模型层间关系，进行准确的（100%）预测，如GLM-5.2会在一组层间复用indexer选择结果。

验证总结

HiSparse在面对显存瓶颈时才有收益，在并发为16时开始和baseline有差异。

Cambricon-FlexLLM

动机

70B-INT8模型跑在手机里，使用UFS闪存动态加载权重，在UFS4.0极限速度下，也只能达到0.06tokens/s，论文5采用了一个新的思路，将算力放到显存，而不是每次动态加载模型到算力。

根据动机实验分析，这种模型在手机上运行瓶颈在于访问而非计算。并且硬件层面200GB 的闪存的面积约 64mm²，恰好跟手机 SoC 的面积差不多。因此把 NPU 和闪存封装在一起在面积方面是成立的。闪存的两大短板（写慢、页粒度读）对只读的推理负载几乎无影响。这为整个方案奠定了可行性基础。

方法

使用D2D在每个闪存晶粒里面塞了一个共享计算核，这个计算核能直接在晶粒内做读-算一体化操作，具体的流程是将页数据从阵列读到数据寄存器、再转到缓存寄存器后就地做 MAC 运算，最后只把压缩后的部分和向量传回 NPU，而不是把整页权重数据都搬过来。这大大降低了闪存和NPU之间的传输的数据量。

对于闪存出错问题，设计了一个面向离群值的轻量ECC，只保护关键的1%数值

验证总结

  1. 论文使用SSDsim仿真器实验，OPT-66B 达 2.59 token/s，速度对比基线差不多翻了数十倍。但是预填充存在明显缺陷，需要等待数十秒。
  2. tile粒度偏粗，会导致矩阵不对齐产生的填充开销
  3. 纠错只覆盖了离群值，这是个严重的问题，实际场景错误率高会导致不可用

论文的设计值得借鉴思考，以在移动端场景进一步提高LLM推理的能力。

KV Cache工程讨论6

动机

面对显存被KV吃满，并且显存利用率低，用完即丢弃的问题，当前存在三种不同的解决方案，将KV Cache进行资产化，重复利用。

方法与性能

LMCache独立引擎做了管理KV的进程；Mooncake做了分布式KV池子；FlexKV做了卸载流水线。

LMCache

之前的vLLM的8个DP副本独立管理KV缓冲区，最新提出的MP（Multi-Process）模式将所有DP副本注册到同一个KV缓冲区，共享一块host memory，而存储后段可插拔：L1是CPU Memory，L2时本地SSD，L3时远端对象存储等。 性能比In-Process Offload的TTFT降低13.6倍，decoding速度提高3.8倍，主要是提高缓存命中率提高资源利用率。

Mooncake

Mooncake架构直接采用PD分离，然后将KV放在不同节点上，组成分布式KV池。

技术上主要依靠基于RDMA的Transfer Engine，这样才使得分布式的设计能支撑业务运行。

FlexKV

同时利用4级存储，形成HBM、DRAM、SSD和Remote四级管道式KV管理。

  1. DeepSeek-V3.2: Pushing the Frontier of Open Large Language Models, arXiv, 2025 ↩︎

  2. Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention, ACL, 2025 ↩︎

  3. QUEST: Query-Aware Sparsity for Efficient Long-Context LLM Inference, ICML, 2024 ↩︎

  4. HiSparse: Scaling Sparse-Attention Decoding with Hierarchical KV Cache Management, arXiv, 2026 ↩︎

  5. Cambricon-FlexLLM: A Flexible Chiplet-Based Hybrid Architecture for On-Device 70B LLM Inference, TACO, 2026 ↩︎

  6. KV Cache 研习社 · 深潜 | LMCache、Mooncake、FlexKV——三条路线谁在改写 KV 的命运？ ↩︎