优化多阶段语言模型程序的指令与示例论文概述本文是一篇关于大语言模型的研究论文，由 Krista Opsahl-Ong 等7位研究者共同完成。
本文解决了优化复杂多阶段语言模型程序的挑战,在这些程序中多个语言模型调用被串联在一起。现有方法孤立地优化单个提示,而本研究引入了 MIPRO 算法,可以联合优化程序中所有模块的自由格式指令和少样本示例。MIPRO 对优化问题进行因式分解,并引入了用于提出任务驱动指令和跨模块信用分配的新颖策略。使用一流的开源模型(Llama-3-8B),MIPRO 在七个不同多阶段语言模型程序中的五个上优于基线优化器,准确率最高提升13%。
研究目标本研究的主要目标包括：
引入 MIPRO 算法用于端到端优化多阶段语言模型程序
联合优化指令和示例而非分别处理
开发了程序感知和数据感知技术用于提出有效指令
研究背景当前挑战
参数优化：如何自动化地优化模型参数和...
InfICL: 用影响函数选择最优示例
论文信息
标题: In-Context Learning Demonstration Selection via Influence Analysis
作者: Vinay M.S., Minh-Hao Van, Xintao Wu
机构: University of Arkansas
发表: arXiv preprint
链接: arXiv | PDF
核心贡献InfICL利用影响函数(Influence Functions)分析训练样本对模型预测的影响,识别最有价值的ICL示例。相比随机选择或embedding相似度,InfICL能找到真正”有影响力”的示例,在多个数据集上提升2-5%准确率,且无需模型微调。
问题与背景示例选择的难题ICL性能的高度敏感性ICL效果严重依赖示例选择:
123# 相同任务,不同示例examples_A = [good_example_1, go...