GREATERPROMPT: 统一、可定制、高性能的开源提示优化工具包论文概述本文是一篇关于提示工程的优化方法论文，由 Wenliang Zheng 等4位研究者共同完成。
GREATERPROMPT通过提供统一、可定制的框架，将多种优化技术整合到单一API下，从而实现提示优化的民主化。与现有方法相比，这些方法要么缺乏标准化、灵活性有限，要么依赖昂贵的专有API，GREATERPROMPT通过文本反馈优化（适用于大型大语言模型）和内部梯度优化（适用于小型模型）来适应不同模型规模。借助包括GitHub、PyPI和Web UI在内的用户友好界面，它使专家研究人员和非技术用户都能在不同任务和模型规模上实现高性能的提示优化。
研究目标本研究的主要目标包括：
统一框架，在一致的API下整合多种提示优化方法
双重优化模式：大型模型的文本反馈和小型模型的梯度优化
消除对昂贵的闭源大语言模型API...
自动提示工程综述：优化视角
A Survey of Automatic Prompt Engineering: An Optimization Perspective
ArXiv ID: 2502.11560作者: Wenwu Li, Xiangfeng Wang, Wenhao Li, Bo Jin发布日期: 2025-02-17
摘要基础模型的兴起使研究焦点从资源密集型的微调转向提示工程——一种通过输入设计而非权重更新来引导模型行为的范式。本综述首次从统一的优化视角对自动提示工程进行了全面考察。我们将提示优化形式化为离散、连续和混合提示空间上的最大化问题,考察了基于基础模型的优化、进化方法、基于梯度的优化和强化学习方法。通过分析优化变量(指令、软提示、样例)、任务特定目标和计算框架,我们在理论形式化与跨文本、视觉和多模态领域的实际实现之间架起桥梁。虽然手动提示工程在可扩展性、适应性和跨模态对齐方面存在局限...
GReaTer: 推理上的梯度使小型语言模型成为强大的提示优化器
GReaTer: 梯度 over 推理 Makes Smaller Language Models Strong Prompt Optimizers论文概述本文是一篇关于提示工程的研究论文，由 Sarkar Snigdha Sarathi Das 等6位研究者共同完成。
GReaTer introduces a novel prompt 优化technique that directly incorporates gradient information over task-specific 推理, enabling open-source lightweight language models to self-optimize prompts without dependence on costly closed-source 大型语言模型 (LLM)s. Unlike text ...