论文信息 标题: Promptomatix: An Automatic Prompt Optimization Framework for Large Language Models 作者: Rithesh Murthy, Ming Zhu, Liangwei Yang, Jielin Qiu, Juntao Tan 机构: Salesforce AI Research 发表: arXiv preprint 链接: arXiv | PDF 核心贡献Promptomatix是一个端到端的自动prompt优化系统,将自然语言任务描述自动转换为高质量prompt,无需人工调优。支持双路径优化(meta-prompt和DSPy),涵盖意图分析、合成数据生成、策略选择和成本感知优化四个模块,在五类任务上达到竞争力性能。 问题与背景Prompt工程的困境人工Prompt优化的成本典型流程:...

阅读全文

论文信息 标题: ICLR: In-Context Learning of Representations 作者: Core Francisco Park, Andrew Lee, Ekdeep Singh Lubana, Yongyi Yang, Maya Okawa 机构: Harvard University, Stanford University 发表: ICLR 2025 (Poster) 链接: arXiv | PDF 核心贡献本文揭示了大语言模型一个惊人的能力：当提供足够的上下文示例时，模型能够突然重组其内部表征，从预训练时学到的语义结构转向上下文定义的全新语义。通过精巧设计的图追踪任务，作者发现这种表征重组具有突现性（emergent），并提出了基于能量最小化的理论解释。这项ICLR 2025的研究为理解in-context learning的内部机制提供了新...

阅读全文

论文信息 标题: Strategic Chain-of-Thought: Guiding Accurate Reasoning in LLMs through Strategy Elicitation 作者: Yu Wang, Shiwan Zhao, Zhihu Wang, Heyuan Huang, Ming Fan 机构: Harbin Institute of Technology, Tencent AI Lab 发表: arXiv preprint 链接: arXiv | PDF 核心贡献Strategic Chain-of-Thought (SCoT)提出在生成推理步骤前先让模型制定解题策略，通过两阶段prompt设计，在GSM8K上实现21.05%的性能提升。核心创新是将策略规划与执行分离，解决了传统CoT推理不稳定的问题。 问题与解决方案传统CoT的不稳定性核心...

阅读全文

论文信息 标题: Chain of Preference Optimization: Improving Chain-of-Thought Reasoning in LLMs 作者: Xuan Zhang, Chao Du, Tianyu Pang, Qian Liu, Wei Gao, Min Lin 机构: Sea AI Lab (SAIL), Nanyang Technological University 发表: NeurIPS 2024 链接: arXiv | GitHub | PDF 核心贡献CPO通过偏好优化将Tree-of-Thought的搜索能力蒸馏到Chain-of-Thought推理中，实现了在推理时无需树搜索开销的情况下，达到甚至超越ToT的性能。核心创新在于利用树搜索过程中的隐含偏好信息，训练模型对齐优质推理路径。 研究动机CoT的局限性Chain...

阅读全文

论文信息 标题: In-Context Learning Demonstration Selection via Influence Analysis 作者: Vinay M.S., Minh-Hao Van, Xintao Wu 机构: University of Arkansas 发表: arXiv preprint 链接: arXiv | PDF 核心贡献InfICL利用影响函数(Influence Functions)分析训练样本对模型预测的影响,识别最有价值的ICL示例。相比随机选择或embedding相似度,InfICL能找到真正”有影响力”的示例,在多个数据集上提升2-5%准确率,且无需模型微调。 问题与背景示例选择的难题ICL性能的高度敏感性ICL效果严重依赖示例选择: 123# 相同任务,不同示例examples_A = [good_example_1, go...

阅读全文

论文信息 标题: Chain-of-Thought Reasoning Without Prompting 作者: Xuezhi Wang, Denny Zhou 机构: Google DeepMind 发表: arXiv preprint 链接: arXiv | PDF 核心贡献本文揭示CoT推理路径其实隐含在预训练模型中,无需特殊prompt即可通过改变解码策略触发。通过分析top-k候选token,发现CoT路径频繁出现在高概率分支中。这一发现挑战了”prompting是必需的”的传统观念,为理解模型的内在推理能力提供新视角。 核心洞察传统观点的挑战传统认知：CoT推理需要特殊的prompt触发: 12"Let's think step by step" → 模型生成推理无此prompt → 模型直接给答案...

阅读全文