Prompt Engineering 教程与提示词实战Techniques
ART
Automatic Reasoning and Tool-use：自动化 tool-use 流程
本章 Prompt 决定
01要解决的 Prompt 问题
Automatic Reasoning and Tool-use：自动化 tool-use 流程
02完成后带走
一份保留任务边界的可复用 Prompt、示例集、评测记录或安全规则。
03做到什么算完成
至少跑一个代表性样本，检查结果，并记录仍需人工复核的部分。
使用 LLM 完成任务时，交替运用 CoT 提示和工具已经被证明是一种即强大又稳健的方法。这类方法通常需要针对特定任务手写示范，还需要精心编写交替使用生成模型和工具的脚本。Paranjape et al., (2023)提出了一个新框架，该框架使用冻结的 LLM 来自动生成包含中间推理步骤的程序。
ART（Automatic Reasoning and Tool-use）的工作原理如下：
- 接到一个新任务的时候，从任务库中选择多步推理和使用工具的示范。
- 在测试中，调用外部工具时，先暂停生成，将工具输出整合后继续接着生成。
ART 引导模型总结示范，将新任务进行拆分并在恰当的地方使用工具。ART 采用的是零样本形式。ART 还可以手动扩展，只要简单地更新任务和工具库就可以修正推理步骤中的错误或是添加新的工具。这个过程如下：
图片援引自: Paranjape et al., (2023)
在 BigBench 和 MMLU 基准测试中，ART 在未见任务上的表现大大超过了少样本提示和自动 CoT；配合人类反馈后，其表现超过了手写的 CoT 提示。
下面这张表格展示了 ART 在 BigBench 和 MMLU 任务上的表现：
图片援引自: Paranjape et al., (2023)