Promptomatix: 面向大型语言模型的自动提示优化框架论文概述本文是一篇关于提示工程的框架设计论文，由 Rithesh Murthy 等8位研究者共同完成。 Promptomatix是一个自动提示优化框架，能够将自然语言任务描述转换为高质量提示，无需手动调优或领域专业知识。该系统支持轻量级元提示优化器和DSPy驱动的编译器，具有模块化设计便于未来扩展。系统会分析用户意图，生成合成训练数据，选择合适的提示策略，并使用成本感知目标迭代优化提示，在减少提示长度和计算开销的同时实现竞争力或更优的性能。 研究目标本研究的主要目标包括： 引入Promptomatix框架，可从自然语言描述自动优化提示 支持基于元提示和DSPy驱动的两种优化方法 实现成本感知优化目标，平衡性能和效率 研究背景当前挑战 提示设计复杂：如何设计有效的提示来引导模型生成高质量输出 优化困难：手动优化提示既耗时...

阅读全文

GReaTer: 梯度 over 推理 Makes Smaller Language Models Strong Prompt Optimizers论文概述本文是一篇关于提示工程的研究论文，由 Sarkar Snigdha Sarathi Das 等6位研究者共同完成。 GReaTer introduces a novel prompt 优化technique that directly incorporates gradient information over task-specific 推理, enabling open-source lightweight language models to self-optimize prompts without dependence on costly closed-source 大型语言模型 (LLM)s. Unlike text ...

阅读全文

PROMST:多步骤任务中的提示优化——整合人类反馈与启发式采样论文概述本文是一篇关于提示工程的优化方法论文,由 Yongchao Chen 等6位研究者共同完成。 PROMST 解决了多步骤智能体任务提示优化的独特挑战,在这些任务中,提示更加复杂,单个步骤的影响难以评估,且用户偏好各异。与单步骤任务优化器不同,PROMST 融合了人类设计的反馈规则(自评规则)以自动提供直接的改进建议,并使用学习到的启发式模型来高效预测提示性能以进行采样。该方法在11个代表性多步骤任务上显著优于人工设计的提示和其他优化方法,在五种不同的大语言模型上平均提升10.6%-29.3%。 研究目标本研究的主要目标包括: 引入专门为多步骤任务提示优化设计的 PROMST 框架 开发自评规则机制,将人类反馈规则融入自动化优化 实现对比过滤,使用学习到的启发式方法高效采样高质量提示候选 研究背景当前挑战 提示...

阅读全文

论文概述这篇里程碑式论文介绍了通过提示优化（Optimization by PROmpting, OPRO），这是一种利用大型语言模型作为各种任务优化器的突破性范式。与传统的基于导数的优化不同，OPRO 使用自然语言描述优化任务，并根据先前评估的候选项迭代生成新解决方案。该方法在提示优化上展示了显著的有效性，其中 OPRO 优化的提示在 GSM8K 上优于人工设计的提示最多 8%，在 Big-Bench Hard 任务上优于最多 50%。这项工作在 Hugging Face 上获得了 77 个点赞，表明了强大的社区认可。 论文信息： 发布时间：2023-09-07 作者：Chengrun Yang, Xuezhi Wang, Yifeng Lu等 机构：Google DeepMind 研究方向：提示工程，大型语言模型推理 核心技术：提示优化（Prompt Optimization）...

阅读全文