【/h/]免责声明:本文来自微信官方账号新智元（ID:AI_era），作者新智元，由授权站长之家转载发布。

【/h/]【新智元简介】21点游戏、几何图形和单步死亡问题，这些推理密集型任务难倒了一个大型模型。怎么破？最近，来自北京大学、加州大学伯克利分校和斯坦福大学的研究人员提出了一种全新的BoT方法，该方法利用思维模板大大增强了推理性能。但是在BoT的加持下，Llama3-8B多次超越Llama3-70B！

【/h/]大语言模型不擅长推理怎么办？

【/h/]用思想的缓冲区（BoT）解决！

【/h/]最近，来自北京大学、加州大学伯克利分校和斯坦福大学的研究人员提出了一种元缓冲区。它可以存储一系列信息丰富的高级思维，即从各种任务的解决问题过程中提炼出来的所谓“思维模板”。

【/h/]论文地址:https://arxiv.org/abs/2406.04271

【/h/]然后，针对每个问题，你可以检索相关的思维模板，然后使其与特定的推理结构相适应，这样你就可以进行有效的推理了！

【/h/]在过去，推理密集型任务，如24人游戏、几何图形和将死一人游戏难倒了很多逻辑思维硕士。

21点游戏

【/h/]使用思维缓冲区（BoT）后，与之前的SOTA相比，LLM在21点游戏中的性能提高了11%，在几何任务中的性能提高了20%，在一步死亡问题中的性能提高了50%。

【/h/]分析表明，BoT具有优秀的泛化能力和模型鲁棒性。

【/h/]甚至，在BoT的加持下，原本在各种任务中一败涂地的小型Llama3-8B型号性能大幅升级，在许多任务中超过了Llama3-70B！

【/h/]在实验过程中，团队设计了一个缓冲管理器。这个管理器可以从各种解决方案中提取思维模板，随着LLM解决的任务越来越多，元缓冲区的容量也在增加。

【/h/]而且BoT的成本也很香，平均只需要多查询提示方法成本的12%。

【/h/]几何图形推理任务

【/h/]LLM推理比较困难，两种方法都有局限性。

【/h/]众所周知，GPT-4、PaLM、Llama这些大模型玩家在完成推理任务方面都很出色。

【/h/]我们如何通过上一层楼梯来增强他们的推理能力？

【/h/]除了扩大模型的规模外，还有另一种方法，即通过更有效的提示方法。

【/h/]具体来说，这些方法分为两类。

1。单一查询推理

【/h/]这类方法主要依靠提示工程，使推理过程可以在单个查询中完成，如CoT的“让我们一步步思考”。

【/h/]或少数镜头提示，可以提供与任务相关的示例来帮助生成答案。

【/h/]然而，单查询推理通常需要预先假设或推理过程的相关示例，逐个任务地手工设计显然不现实。所以缺乏普遍性和概括性。

2。多查询推理

【/h/]包括最少到最多、总计、总计等。他们专注于使用多个LLM查询来导出不同的合理推理路径，从而将复杂的问题分解为一系列更简单的子问题。

【/h/]然而，由于推理路径的递归扩展，在为每个特定任务寻找推理过程背后的独特内部结构时，多查询推理通常计算量很大。

【/h/]另外，这两种方法受设计范式和推理结构的限制，前面的任务做完了，也不会从中得到高级的指导和思考。当再次遇到类似问题时，他们仍然效率低下。

【/h/]因此，BoT诞生了！

【/h/]这种新颖、多功能的思维增强框架可以避免上述两种方法的弱点。

【/h/]单查询和多查询与BoT方式的比较

【/h/]机器人有三大优势

1。准确性:通过共享的思维模板，LLM可以自适应地实例化高层思维来解决不同的任务。由于不需要从头开始构建推理结构，因此提高了推理的准确性。

2。推理效率:通过思考来增强推理，LLM可以直接使用信息丰富的历史推理结构进行推理，并且由于期间不需要复杂的多次查询过程，推理效率得到了提高。

3。鲁棒性:从思维检索到思维实例化的过程类似于人类的思维过程，这使得LLM能够以一致的方式解决类似的问题，从而显著增强了模型的鲁棒性。

国际象棋中的“一步致命”

【/h/]思想缓冲器

【/h/]从图2中，我们可以看到BoT如何用核心思维增强推理任务。

【/h/]对于给定的特定任务，团队将首先使用问题蒸馏器提取关键信息和相关限制。

【/h/]提取这些信息后，您可以在包含一系列高级思维（思维模板）的元缓冲区中进行搜索。在此过程中，将检索最相关的思维模板。

【/h/]然后，您可以使用更具体任务的推理结构来实例化搜索到的思维模板并进行推理过程。

【/h/]最后一步是使用缓冲区管理器来总结整个问题解决过程，并提取高级思维以增加其容量。

【/h/]不同推理过程的示意图（橙色为思维模板，蓝色为实例化思维）

【/h/]问题蒸馏器

【/h/]大多数复杂任务在上下文中包含隐式约束、复杂的对象关系以及复杂的变量和参数。

【/h/]因此，在推理阶段，LLM需要克服三个主要挑战:提取重要信息、识别潜在约束和进行准确推理。

【/h/]对于单个LLM而言，这些挑战将带来巨大的负担。

【/h/]因此，团队选择将任务信息提取和理解阶段与最终推理阶段分离，并通过在推理过程中添加问题蒸馏器来实现。

【/h/]为此，他们设计了一个meta prompt）φ，用于首先提取和形式化任务信息。

【/h/]蒸馏后的任务信息可以表示为:

【/h/]问题蒸馏器的详细元提示如下:

【/h/]作为信息提炼领域高度专业和聪明的专家，您擅长从用户输入查询中提取关键信息来解决问题。您可以巧妙地将提取的信息转换为适合相应问题类型的格式。

【/h/]请分类并提取解决问题所需的关键信息，包括:

1。关键信息:从用户输入中提取的关键变量的值和信息，将交给相应的专家进行任务解决，以确保提供解决问题所需的所有必要信息。

2。约束条件:问题的目标和相应的约束条件。

3。蒸馏任务:基于1-和2-扩展问题，总结一个可以解决用户查询并处理更多输入和输出变化的元问题。结合扩展问题的真实场景和原问题中的关键变量类型及信息约束，对扩展问题中的关键变量进行限定。之后，作为示例，使用用户查询输入的关键信息作为输入来解决问题。

【/h/]使用元缓冲区来增强思考和推理能力。

【/h/]-动机

【/h/]人类在解决问题时，往往会总结归纳出高层次的准则，然后应用于相关问题。

【/h/]受此启发，团队提出了元缓冲区（meta-buffer），这是一个轻量级的库，包含一系列高级思维（思维模板），用于解决各种类型的问题。

【/h/]与传统方法不同的是，这种高级思维模板可以在解决不同问题时自适应地实例化，从而为LLM提供更高的准确性和灵活性。

【/h/]-思考模板

【/h/]作为一项高级指导原则，思维模板存储在元缓冲区中，由缓冲区管理器从各种问题解决流程中获取。

【/h/]为了使BoT能够为各种任务提供通用的推理方法，团队相应地将思维模板分为六类:文本理解、创造性语言生成、常识推理、数学推理、代码编程和应用程序调度。

【/h/]这种思维模板的分类可以促进模板检索，并找到最适合不同问题的解决方案。

【/h/]其中，思维模板、模板描述及其对应的类别表示为（ti，D_Ti，Ck），其中I表示元模板的索引，k∈z+且1≤k≤6。

【/h/]这里有六种不同类型的思维模板。

1。文本理解

【/h/]在这个任务中，LLM需要分析一个涉及企鹅各种属性（如姓名、年龄、身高和体重）的表，然后回答有关这些属性的问题。

【/h/]解决方案描述:

【/h/]为了准确回答有关企鹅属性的问题，我们必须能够解释表格数据，理解自然语言提供的附加信息，并使用逻辑推理来识别正确的属性。

【/h/]思考模板:

【/h/]第一步:解析初始表并将标题信息和每个企鹅的属性提取为结构化格式（例如，字典列表）。

【/h/]第二步:读取并整合表中更新或添加的任何自然语言信息，以确保数据的一致性。

【/h/]第三步:确定被询问的属性（例如，最老的企鹅和最重的企鹅）以及表中相应的列。

【/h/]第四步:使用逻辑推理比较所有项目的相关属性以找到正确答案（例如，最古老企鹅的最高年龄）。

【/h/]第五步:从提供的选项中选择符合逻辑比较结果的答案。

2。创造性语言生成

【/h/]在这个任务中，LLM需要生成一首十四行诗，它遵循传统的押韵模式“ababccd efefgg”，并逐字包含三个特定的单词。

【/h/]解决方案描述:

【/h/]要写一首十四行诗，你需要创作14首十四行诗并遵循特定的押韵模式。这些诗行通常采用抑扬格五音步，但为了创意可以适当调整节奏。给定的押韵模式规定了每行的结尾音，以确保诗歌的结构。所提供的三个单词的逐字包含需要在诗的行中巧妙地安排，以保持诗的连贯性和主题。

【/h/]思考模板:

【/h/]第一步:确定十四行诗中必须包含的三个单词。

【/h/]第二步:理解押韵模式“ababccdcd efefgg”并准备一个可以使用的押韵单词列表。

【/h/]第三步:为十四行诗设计一个可以自然包含这三个词的主题或故事。

【/h/]第四步:开始起草十四行诗，根据“ABAB”押韵模式写第一节（四行），确保包括一个或多个提供的单词。

【/h/]第五步:继续写第二段“CDCD”，第三段“EFEF”，最后是结尾对联“GG”，每次都根据需要包括所提供的单词。

【/h/]第六步:检查十四行诗的一致性和流畅性以及是否符合押韵模式，并根据需要进行调整。

3。常识推理

【/h/]在此任务中，将为LLM提供任务的日期和事件（如假期或历史事件）以确定日期。

【/h/]解决方案描述:

【/h/]为了确定下一个日期，我们需要考虑日历的结构、每个月的天数以及是否是闰年。通常，一个月的天数是固定的，但由于闰年的原因，二月可能会有所不同。一年的第二天通常是日期加上一天。除非是月底，否则第二天就是下个月的第一天。对于一年的结束，第二天将是下一年的1月1日。

【/h/]思考模板:

【/h/]第一步:确定给定日期的月份和日期。

【/h/]第二步:检查是否是月底；如果是，请确认下个月的开始日期。

【/h/]第三步:如果不是月底，就在天数上加1。

【/h/]第四步:特别注意年底，确保年份增加。

4。数学推理

【/h/]在这个任务中，LLM需要求解AX ^ 2+BX+C = 0形式的二次方程，并考虑所有可能的情况。

5。代码编程

【/h/]在这个任务中，将给出一组数字。此时，LLM需要尝试使用四则基本数学运算（加减乘除）来得到目标数。

6。应用程序调度

【/h/]在该任务中，LLM需要根据国际象棋中标准代数符号（SAN）的给定走法更新棋盘的状态。

【/h/]-模板检索

【/h/]对于每个任务，BoT将计算描述D_Ti与蒸馏问题xd之间的嵌入相似度，并检索与蒸馏问题xd高度相似的思维模板Ti。

【/h/]其中，检索过程可以表示为:

【/h/]-实例化推理

【/h/]第一种情况是机器人成功地检索到任务的思维模板Tj。

【/h/]此时，BoT将使用团队设计的实例化提示自适应地实例化成合适的推理结构。

【/h/]例如，在一步死亡问题中，蒸馏信息xd和检索到的模板Tj将用于实例化和推理任务X，并生成解决方案Sx，如下所示:

【/h/]第二种情况是BoT将任务识别为新任务。

【/h/]为此，团队准备了三个通用的粗粒度思维模板，BoT将基于蒸馏任务信息xd自动为推理过程分配一个合适的思维模板。

【/h/]你是一个推理者，你精通各个领域，包括计算机科学、数学、物理、文学、历史、化学、逻辑推理、文化和语言。你也可以根据不同的任务找到合适的高级思维方式。以下是三种推理结构:

【/h/]I）基于提示的结构:在处理常识推理、应用程序调度等问题时表现出色。

【/h/]ii）基于过程的结构:擅长处理创造性任务，如创造性语言生成和文本理解。

【/h/]iii）基于编程的结构:在处理数学推理和代码编程方面表现出色，还可以将现实世界的问题转化为编程问题，从而高效地解决问题。

【/h/]（推理实例化）

【/h/]您的任务是:

1。仔细思考问题提取器提取的响应中的上下文和问题，并利用您对问题的理解来寻找适合解决问题的领域专家。

2。考虑蒸馏的信息，选择问题的推理结构。

3。如果提供了思维模板，请根据思维模板直接举例说明给定问题。

【/h/]缓冲区管理器

【/h/]缓冲区经理的职能是总结从每个问题解决过程中获得的高层次指导方针和思想。

【/h/]它可以将每个具体的解决方案扩展到更多的问题，并将关键的蒸馏知识以思维模板的形式存储在元缓冲区中。

【/h/]与为每个问题临时生成示例或指令的方法不同，缓冲区管理器可以确保准确性、效率和健壮性的永久提高。

【/h/]模板蒸馏提示:

【/h/]用户:【问题描述】+【解决方案步骤或代码】

【/h/]要提取和总结解决此类问题的高级示例和通用方法，请按照以下步骤进行回复:

1。核心任务概述:

【/h/]识别和描述问题的基本类型和核心挑战，例如将其分类为数学问题（例如，解二次方程）、数据结构问题（例如，数组排序）、算法问题（例如，搜索算法），并分析解决问题的最有效方法。

2。求解步骤描述:总结求解的一般步骤，包括如何定义问题、确定变量、列出关键方程或约束条件、选择合适的求解策略和方法以及如何验证结果的正确性。

3。通用答案模板:根据上述分析，可广泛应用于此类问题的模板或方法，包括可能的变量、函数、类定义等。如果是编程问题，请提供一组可用于构建特定问题解决方案的基类和接口。

【/h/]请确保您的答案高度简洁和结构化，以便具体的解决方案可以转化为可推广的方法。

【/h/]【可选】以下是思维模板的一些示例:（基于核心任务摘要分析选择跨任务或-任务示例。)

【/h/]-模板蒸馏

【/h/]为了提取共同的思维模板，研究小组提出了一个三步法:

【/h/]（1）核心任务概述:确定并描述问题的基本类型和核心挑战；

【/h/]（2）解题步骤描述:总结解题的一般步骤；

【/h/]（3）通用答案模板:基于上述分析，提出可广泛应用于类似问题的解决模板或方法。

【/h/]此外，为了提高模板蒸馏的泛化能力和稳定性，团队精心设计了两个上下文示例来生成思维模板——任务内示例和跨任务示例。

【/h/]跨任务演示是指选择从一项任务中提取的模板来解决其他任务的问题。例如，使用与代码相关的思维模板来解决数学问题。

【/h/]从输入任务X中提取的新模板可以表示为:

【/h/]-元缓冲区的动态更新

【/h/]模板提取后，需要考虑是否将提取的模板更新到元缓冲区中。

【/h/]-如果初始化空的元缓冲区或没有合适的思维模板，则提取的思维模板将直接存储在元缓冲区中；

【/h/]-如果检索到的思维模板解决了问题，则在实例化思维模板的过程中可能会产生新的见解。

【/h/]因此，为了保留新生成的有用思想并避免元缓冲区的冗余，有必要计算

【/h/]以及

【/h/]。

【/h/]，并根据以下规则更新元缓冲区:

【/h/]否则，意味着元缓冲区已经具有解决此任务所需的知识，不需要更新。

【/h/]这种动态更新策略有效降低了模板检索的计算负担，同时保证了元缓冲区的轻量级特性。

【/h/]实验结果

【/h/]-数据集和任务

【/h/]为了评估BoT的有效性并将其与之前的方法进行比较，团队选择了多种任务和数据集。

【/h/]这些任务和数据集需要不同程度的数学和算法推理、特定领域知识和文学创造力:

1。ToT的21点游戏（24点游戏）

2。三个大板凳硬（BBH）任务:几何形状、多步算术2和单词排序；

3。直接从BIG-Bench获得的三个推理任务:将死、企鹅和约会理解；

4。Python编程问题（P3），一组用Python编写的具有不同难度的挑战性编程问题；

5。多语言初级数学（MGSM），GSM8K数据集的多语言版本，包括十种语言类型（包括孟加拉语、日语和斯瓦希里语）；

6。基于元暗示的莎士比亚十四行诗写作。

【/h/]-实施和基准

【/h/]为了与之前的方法进行公平的比较，该团队选择GPT-4作为BoT的基准模型。

【/h/]该分析也是在使用Llama3-8B和Llama3-70B的NVIDIA A100-PCIE-40GB GPU上进行的。

【/h/]更高的准确性、效率和稳定性。

【/h/]-推理准确性

【/h/]结果表明，在许多具有挑战性的基准测试中，尤其是在21点和一步死亡等复杂推理任务中，BoT始终优于所有以前的提示方法。

【/h/]在21点游戏中，与最初的GPT-4相比，机器人的准确性惊人地提高了79.4%。与本项目之前的SOTA-ToT相比，BoT也取得了8.4%的提高。

【/h/]与最近提出的元提示相比，BoT在21点中的准确性提高了23%，在几何中提高了20%，在一步中提高了51%。

【/h/]现有方法需要复杂的、迭代的和启发式的搜索策略来逐一解决这些问题。

【/h/]BoT将使用思维模板中的历史见解和信息丰富的指导方针，并自适应地实例化更好的推理结构来解决这些复杂问题。

【/h/]-推理效率

【/h/]除了在准确率上的显著提升外，作为一种多查询方法，BoT还可以在各种任务中实现与单查询方法相同的推理时间，并且它明显少于传统的多查询方法（如ToT）。

【/h/]例如，在21点游戏中，单个查询和多个查询方法都需要迭代和启发式搜索才能找到可行解。

【/h/]这个过程特别耗时且效率低下，尤其是对于多查询方法，它涉及多个查询和回溯阶段。

【/h/]相比之下，BoT可以直接检索代码格式的思维模板，从而实例化一个程序来遍历数字和符号的组合，从而无需从头构建推理结构。

【/h/]这使得在调用问题distiller后只需一次查询即可解决问题，从而大大减少了复杂推理所需的时间。

【/h/]值得注意的是，平均而言，BoT只需要多查询方法12%的成本。

【/h/]-推理鲁棒性

【/h/]为了更好地评估BoT，团队设计了一个用于评估推理鲁棒性的新指标——成功率。

【/h/]首先，从各种基准中随机选择1000个样本作为测试子集，并在此子集上评估不同的方法。其次，这个评估过程重复10次，取平均准确率作为不同方法在每个基准上的成功率。

【/h/]结果表明，与其他方法相比，BoT在各类任务中的成功率最高。

【/h/]不仅在平均得分上，它比ToT高出10%；即使在21点游戏中，它也比最初的GPT-4高出71%。

【/h/]这是因为BoT distillation在不同任务中的思维模板具有出色的泛化能力。通过使用思维模板提供的高级思维，大大提高了BoT在不同任务中的稳定性。

【/h/]模型分析

【/h/]——思维模板分布分析

【/h/]测试结果表明，BoT在场景更加多样化的MGSM任务中生成了更多的思维模板。在相对简单的任务中，会生成更有针对性的固定思维模板。

【/h/]模板的分布表明，BoT可以有效地为不同的基准测试找到合适的思维模板。

【/h/]-时间成本分布分析

【/h/]在时间成本方面，蒸馏任务信息和模板的检索时间相对较短，而实例化推理需要较长的时间。

【/h/]考虑到不同组件的复杂性，BoT在整体上实现了相对平衡的时间和成本分配，显示了新框架的效率。

【/h/]思维模板与时间分布分析（左为思维模板；右为时间成本）

【/h/]-规模和性能之间更好的平衡

【/h/]可以看出，最初的Llama3-8B和Llama3-70B模型在测试任务中表现不佳，但在经过BoT加持后，其准确性得到了显著提高。

【/h/]不仅如此，BoT+Llama3-8B在21点和一步死亡任务中成功超越了Llama3-70B。

【/h/]消融研究

【/h/]-问题蒸馏器的影响

【/h/]当问题蒸馏器被禁用时，Llama3-70B和GPT-4的准确性下降。

【/h/]其中，在更复杂的问题上，如21点和一步就会死，下降更为明显。在单词排序和MGSM等相对简单的问题上，下降幅度很小。

【/h/]这是因为在处理复杂问题时提取关键信息和潜在约束更具挑战性，这使得问题蒸馏器的作用更加突出。

【/h/]-元缓冲区的影响

【/h/]当元缓冲器被禁用时，Llama3-70B和GPT-4模型的性能会显著下降，尤其是在需要复杂推理的基准测试中，例如21点和一步死亡。

【/h/]这进一步强调了我们的元缓冲区在解决复杂问题方面的优势。

【/h/]——缓冲区管理器的影响

【/h/]实验分为四轮，每轮将从每个基准中随机选择50个问题并进行推理。

【/h/]随着轮次的增加，带有buffer manager的模型不断扩展元缓冲区，同时利用从之前解决的问题中获得的思维模板来帮助解决后续的类似问题。

【/h/]因此，可以看到BoT的准确性在每一轮中稳步提高。相反，没有缓冲管理器的模型未能呈现上升趋势。

【/h/]在推理时间方面，当回合数增加时，带有缓冲区管理器的模型的推理效率将继续提高。

【/h/]这是因为随着元缓冲区的不断扩大，检索到合适的思维模板的可能性增加。因此，该模型可以避免从头开始构建推理结构，从而相应地提高推理效率。

作者介绍

杨凌

【/h/]本文合著者杨玲目前是北京大学博士三年级学生，她的导师是、张和明。

【/h/]他的研究兴趣包括扩散模型、多模态学习和科学人工智能。

【/h/]他曾担任许多国际会议和期刊项目委员会的成员或评审员，包括SIGGRAPH、TPAMI、ICML、ICLR、NeurIPS、CVPR、KDD和AAAI。

崔斌

【/h/]崔斌现任北京大学计算机学院教授、博士生导师，数据科学与工程研究总监。他在相关领域的顶级会议和期刊上发表了300多篇学术论文。

【/h/]他主持和承担了国家自然科学基金、国家重点R&D计划、核高基计划和863计划等多项科研项目。

【/h/]他曾担任中国计算机联合会理事、数据库委员会副主任、VLDB理事会理事、DSE期刊主编、IEEE TKDE、VLDB日报和DAPD等国际期刊编委，并担任数十个国际会议的项目委员会成员，包括SIGMOD、VLDB、ICDE和KDD等一流国际会议。

【/h/]参考文献:

【/h/]https://arxiv . org/ABS/2406.04271