ICLR: In-Context Learning of Representations - 上下文如何重塑大模型的语义空间

论文信息 标题: ICLR: In-Context Learning of Representations 作者: Core Francisco Park, Andrew Lee, Ekdeep Singh Lubana, Yongyi Yang, Maya Okawa 机构: Harvard University, Stanford University 发表: ICLR 2025 (Poster) 链接: arXiv | PDF 核心贡献本文揭示了大语言模型一个惊人的能力：当提供足够的上下文示例时，模型能够突然重组其内部表征，从预训练时学到的语义结构转向上下文定义的全新语义。通过精巧设计的图追踪任务，作者发现这种表征重组具有突现性（emergent），并提出了基于能量最小化的理论解释。这项ICLR 2025的研究为理解in-context learning的内部机制提供了新...

阅读全文