flashinfer.page

用于操作分页 KV 缓存的内核。

将新的 K/V 张量追加到分页 KV 缓存

append_paged_kv_cache(append_key, ...[, ...])	将一批键值对追加到分页键值缓存。
append_paged_mla_kv_cache(append_ckv, ...)	将一批键值对追加到分页键值缓存，注意：当前仅支持 ckv=512 和 kpe=64
get_batch_indices_positions(append_indptr, ...)	将追加 indptr 和序列长度转换为批次索引和位置。