后处理:预测得分的 Top_k 采样

后处理:预测得分的 Top_k 采样

作者:董董灿

在对大模型的输出 Logits 的后处理过程中,除了上一节提到的对分数进行重复惩罚之外,采样也是一个非常重要的步骤。

合理的采样算法和采样阈值的设置,可以使模型生成的内......