flashinfer.activation

此模块提供了一组用于 Transformer MLP 中上/门层的激活操作。

上/门层输出激活

silu_and_mul(input[, out, enable_pdl])	融合的 SiLU 和 Mul 操作。
gelu_tanh_and_mul(input[, out, enable_pdl])	融合的 GeLU Tanh 和 Mul 操作。
gelu_and_mul(input[, out, enable_pdl])	融合的 GeLU 和 Mul 操作。
silu_and_mul_scaled_nvfp4_experts_quantize(a, ...)	Silu 和乘法，并使用掩码将批处理输入张量量化为 NVFP4 格式。