flashinfer.logits_processor.TensorType

class flashinfer.logits_processor.TensorType(value, names=<not given>, *values, module=None, qualname=None, type=None, start=1, boundary=None)

TensorType 表示管道中张量的语义类型。

__init__(*args, **kwds)

属性

LOGITS

原始或掩码后的浮点分数,实值向量

PROBS

非负浮点概率,可能已归一化

INDICES

整数 token ID,终端类型