使用

时，你通常会通过 API 或直接与 LLM 交互。你可以通过配置一些参数以获得不同结果。调整这些 settings 对于提高响应的可靠性非常重要，你可能需要进行一些实验才能找出适合你用例的正确设置。以下是使用不同 LLM provider 时会遇到的常见设置：

#Temperature

简单来说，

越小，模型越倾向返回更确定的结果；调高该值，模型可能返回更随机的结果，也就是更 diversity 或更 creative 的产出。（调小 ）实质上是在增加其他可能 token 的权重。在实际应用中，对于 QA 等任务，我们可以设置更低的 值，以促使模型基于事实返回更真实和简洁的结果。对于诗歌生成或其他 creative task，适度调高 可能更好。

#Top_p

同样，使用

（与 一起称为 nucleus sampling）可以用来控制模型返回结果的确定性。如果你需要准确和事实的答案，就把参数值调低；如果你在寻找更多样化的响应，可以将其值调高点。

使用

意味着只有 token 集合中包含 概率质量的 token 才会被考虑用于响应，因此较低的 会选择最有信心的响应；较高的 会使模型考虑更多可能 token（包括不太可能的 token），从而导致更多样化的输出。

一般建议是改变

和 其中一个参数即可，不用两个都调整。

#Max length

你可以通过调整

来控制生成的 token 数。指定 有助于防止模型生成冗长或不相关的响应，并帮助控制成本。

#Stop sequences

是一个字符串，可以阻止模型继续生成 token。指定 是控制响应长度和结构的另一种方法。例如，你可以通过添加 “11” 作为 来告诉模型生成不超过 10 个项的列表。

#Frequency penalty

是对下一个生成 token 的惩罚，这个惩罚与 token 在响应和 prompt 中已出现的次数成比例。 越高，某个 token 再次出现的可能性就越小。该设置通过对重复出现次数多的 token 设置更高惩罚来减少响应中的重复。

#Presence penalty

也是对重复 token 施加惩罚，但与 不同的是：惩罚对所有重复 token 都相同。出现 2 次和出现 10 次的 token 会受到相同的惩罚。此设置可防止模型在响应中过于频繁地生成重复 token。如果你希望模型生成更多样化或更 creative 的文本，可以设置更高的 ；如果你希望模型生成更专注的内容，可以设置更低的 。

与

和 一样，一般建议是改变 和 其中一个参数即可，不要同时调整两个。

在我们开始基础示例之前，请记住最终生成结果可能会因为使用的 LLM 版本而异。