优化多阶段语言模型程序的指令与示例

优化多阶段语言模型程序的指令与示例论文概述本文是一篇关于大语言模型的研究论文，由 Krista Opsahl-Ong 等7位研究者共同完成。 本文解决了优化复杂多阶段语言模型程序的挑战,在这些程序中多个语言模型调用被串联在一起。现有方法孤立地优化单个提示,而本研究引入了 MIPRO 算法,可以联合优化程序中所有模块的自由格式指令和少样本示例。MIPRO 对优化问题进行因式分解,并引入了用于提出任务驱动指令和跨模块信用分配的新颖策略。使用一流的开源模型(Llama-3-8B),MIPRO 在七个不同多阶段语言模型程序中的五个上优于基线优化器,准确率最高提升13%。 研究目标本研究的主要目标包括： 引入 MIPRO 算法用于端到端优化多阶段语言模型程序 联合优化指令和示例而非分别处理 开发了程序感知和数据感知技术用于提出有效指令 研究背景当前挑战 参数优化：如何自动化地优化模型参数和...

阅读全文