Promptomatix: 面向大型语言模型的自动提示优化框架论文概述本文是一篇关于提示工程的框架设计论文，由 Rithesh Murthy 等8位研究者共同完成。
Promptomatix是一个自动提示优化框架，能够将自然语言任务描述转换为高质量提示，无需手动调优或领域专业知识。该系统支持轻量级元提示优化器和DSPy驱动的编译器，具有模块化设计便于未来扩展。系统会分析用户意图，生成合成训练数据，选择合适的提示策略，并使用成本感知目标迭代优化提示，在减少提示长度和计算开销的同时实现竞争力或更优的性能。
研究目标本研究的主要目标包括：
引入Promptomatix框架，可从自然语言描述自动优化提示
支持基于元提示和DSPy驱动的两种优化方法
实现成本感知优化目标，平衡性能和效率
研究背景当前挑战
提示设计复杂：如何设计有效的提示来引导模型生成高质量输出
优化困难：手动优化提示既耗时...
从标注数据自动增强和选择思维链提示
论文概述Automate-CoT解决了手动思维链提示工程的挑战，通过从标注的训练数据自动生成和选择高质量的理性推理链。它使用机器生成的理性推理配合方差减少的策略梯度优化来选择最优的提示组合，消除了对人工标注推理链的需求，同时达到最先进的性能。
论文信息：
发布时间：2023-02-24
作者：KaShun Shum, Shizhe Diao, Tong Zhang
机构：Hong Kong University of Science and Technology, University of Illinois Urbana-Champaign
研究方向：提示工程 (Prompt Engineering), 大型语言模型推理 (LLM Reasoning)
核心技术：自动思维链 (Automatic CoT)
研究背景思维链提示在推理任务上表现出色，但手工制作高质量的推理链需要大量...
大型语言模型是人类级别的提示工程师
论文概述这项突破性工作引入了自动提示工程师（Automatic Prompt Engineer, APE）框架，能够自动为大型语言模型生成和选择指令。APE将指令视为程序，通过搜索LLM提议的候选指令进行优化，并在另一个LLM上评估零样本性能来选择最佳指令。该方法在24个NLP任务中的19个上超过了人工编写的提示，标志着自动化提示工程过程的重大进展。
论文信息：
发布时间：2022-11-03
作者：Yongchao Zhou, Andrei Ioan Muresanu, Ziwen Han等
机构：University of Montreal, University of Oxford, UC Berkeley等
研究方向：提示工程、LLM推理
核心技术：自动提示工程（APE）
研究背景提示工程通常需要大量人工尝试和专业知识，这限制了其应用范围和效率。本研究针对以下问题展开：
...