采样参数

采样参数（温度、top-K、top-P）控制LLM从概率分布中选择标记的方式，决定输出的随机性和创造性。这些参数相互作用：在极端设置下，一个可以覆盖其他（温度0使top-K/top-P无关紧要）。平衡的起点是温度0.2、top-P 0.95、top-K 30，以获得连贯且富有创造力的结果。理解它们的相互作用对于优化提示至关重要——使用温度0处理事实性任务，较高值激发创造力，并根据具体用例策略性地组合设置。