flashinfer.green_ctx

此模块提供用于创建 CUDA 绿色上下文的工具。

绿色上下文创建

split_device_green_ctx(dev, num_groups, ...)

将设备划分为多个 绿色上下文,返回每个组对应的流和 CUdevResource 以及剩余的 SM。

split_device_green_ctx_by_sm_count(dev, ...)

将设备划分为多个绿色上下文,每个上下文具有固定数量的 SM,返回每个组对应的流和 CUdevResource 以及剩余的 SM。