长上下文 LLM 在长上下文学习中的挑战

长上下文 LLM 在长上下文学习中的挑战 ArXiv ID: 2404.02060作者: Tianle Li, Ge Zhang, Quy Duc Do, Xiang Yue, Wenhu Chen机构: University of Waterloo, Tencent AI Lab发布日期: 2024-04-02基准: LongICLBench 摘要大型语言模型在处理长序列方面取得了重大进展，一些模型甚至声称能够处理数百万 token。然而，它们的性能评估主要局限于困惑度和合成任务等指标。本文提出 LongICLBench，一个全面的基准测试套件，专门评估长上下文 LLM 在实际长上下文学习任务中的表现。评估结果揭示了令人惊讶的发现：即使是声称支持超长上下文的模型，在实际长上下文学习任务中也表现不佳。性能随上下文长度增加显著下降，尤其是当有用信息分散在长文本中时。 问题背景长上...

阅读全文