应该自动生成 Prompt 还是手写？提示措辞中微不足道的变化对生成内容有重大影响

Prompt Engineering的挑战是多方面的，缺乏系统的优化方法。这一差距导致了"积极思考"策略的采用，即在系统提示中嵌入激励性片段，以期提高绩效。然而，正如研究指出的那样，这种试错法不仅效率低下，比如我们最常见的就是“深吸一口气仔细想”“这将是有趣的”等等，而且在科学上也站不住脚，这突出了需要一种更优秀的方法来快速优化。

积极的思考路径-你只是插入片段到系统消息，如“这将是有趣的！“-可以提高模型性能，他指出。“但是要科学地测试它们在计算上是困难的，因为你改变了一件事，你就必须对你的整个测试集进行测试。“

Rick Battle建议，一个更好的方法是自动提示优化--使用LLM来改进提示，以提高基准测试的性能。

之前的研究表明，这在商业LLMs这样做的缺点是它可能相当昂贵。根据研究人员的说法，使用GPT-3.5/4、Gemini或Claude进行这项实验，每个模型需要12，000个请求，将花费数千美元，完成整个商业LLMs实验将会是一笔不小的试验经费。

为了测试"积极思维"提示的影响，研究设计了 60 种系统消息组合，包括 5 种开场白、3 种任务描述和 4 种结尾语。这些组合在使用和不使用思维链提示的情况下进行了测试，总共产生了 120 个提示变体。虽然可以进一步扩展每个类别中使用的片段范围，但研究做出了谨慎的选择，以控制计算成本和运行时间。下图为测试60种积极思考提示组合的结果。

研究选择了 GSM8K 数据集作为测试对象，因为其中涉及需要多步推理的数学任务，正是当前 LLM 的一大挑战所在。为了进行严格的评分，研究采用了精确匹配(EM)指标，不给予部分积分。同时，还实施了后处理步骤，以确保字符串格式的正确性，避免错误分类。