安装

Python 包

FlashInfer 可作为一个 Python 包使用，它构建在 PyTorch 之上，以便轻松集成到您的 Python 应用程序中。

先决条件

  • 操作系统：仅支持 Linux

  • Python：3.10, 3.11, 3.12, 3.13, 3.14

  • CUDA：12.6, 12.8, 13.0, 13.1

注意

FlashInfer 致力于遵循 PyTorch 支持的 CUDA 版本以及最新的 CUDA 发布版本。

快速开始

安装 FlashInfer 最简单的方法是通过 pip。请注意，FlashInfer 当前使用的包名为 flashinfer-python，而不是 flashinfer。

pip install flashinfer-python

包选项

FlashInfer 提供三个包

  • flashinfer-python：核心包，首次使用时编译/下载内核

  • flashinfer-cubin：为所有支持的 GPU 架构预编译的内核二进制文件

  • flashinfer-jit-cache：针对特定 CUDA 版本的预构建内核缓存

为了更快的初始化和离线使用，请安装可选包以预编译大多数内核

pip install flashinfer-python flashinfer-cubin
# JIT cache package (replace cu129 with your CUDA version: cu128, cu129, or cu130)
pip install flashinfer-jit-cache --index-url https://flashinfer.cn/whl/cu129

这消除了运行时编译和下载的开销。

从源代码安装

在某些情况下，您可能希望从源代码安装 FlashInfer，以试用主分支中的最新功能，或为您的特定需求定制库。

您可以按照以下步骤从源代码安装 FlashInfer

  1. 克隆 FlashInfer 仓库

    git clone https://github.com/flashinfer-ai/flashinfer.git --recursive

  2. 确保您已安装带有 CUDA 支持的 PyTorch。您可以通过运行以下命令来检查 PyTorch 版本和 CUDA 版本

    python -c "import torch; print(torch.__version__, torch.version.cuda)"

  3. 安装 FlashInfer

    cd flashinfer
python -m pip install -v .

    对于开发，以可编辑模式安装

    python -m pip install --no-build-isolation -e . -v

  4. (可选) 构建可选包

    构建 flashinfer-cubin

    cd flashinfer-cubin
python -m build --no-isolation --wheel
python -m pip install dist/*.whl

    构建 flashinfer-jit-cache（为目标 GPU 自定义 FLASHINFER_CUDA_ARCH_LIST）

    export FLASHINFER_CUDA_ARCH_LIST="7.5 8.0 8.9 9.0a 10.0a 10.3a 11.0a 12.0f"
cd flashinfer-jit-cache
python -m build --no-isolation --wheel
python -m pip install dist/*.whl

安装 Nightly Build

Nightly build 可用于测试最新功能

# Core and cubin packages
pip install -U --pre flashinfer-python --index-url https://flashinfer.cn/whl/nightly/ --no-deps # Install the nightly package from custom index, without installing dependencies
pip install flashinfer-python  # Install flashinfer-python's dependencies from PyPI
pip install -U --pre flashinfer-cubin --index-url https://flashinfer.cn/whl/nightly/
# JIT cache package (replace cu129 with your CUDA version: cu128, cu129, or cu130)
pip install -U --pre flashinfer-jit-cache --index-url https://flashinfer.cn/whl/nightly/cu129

验证安装

安装后，验证 FlashInfer 是否已正确安装和配置

flashinfer show-config

此命令显示

  • FlashInfer 版本和已安装的包（flashinfer-python、flashinfer-cubin、flashinfer-jit-cache）

  • PyTorch 和 CUDA 版本信息

  • 环境变量和工件路径

  • 下载的 cubin 状态和模块编译状态