受人类启发的情节记忆：实现无限上下文 LLM

受人类启发的情节记忆：实现无限上下文 LLM ArXiv ID: 2407.09450作者: Zafeirios Fountas, Martin A Benfeghoul, Adnan Oomerjee, Fenia Christopoulou, Gerasimos Lampouras, Haitham Bou-Ammar, Jun Wang机构: Huawei Noah’s Ark Lab, University College London发布日期: 2024-07-12 摘要大型语言模型（LLM）在处理长上下文时面临严重困难，限制了它们在长序列上保持连贯性和准确性的能力。相比之下，人类大脑擅长在跨越一生的广阔时间尺度上组织和检索情节性体验。本文提出 EM-LLM，一种将人类情节记忆和事件认知的关键方面集成到 LLM 中的新方法，无需微调即可处理百万 token 级别的输入。...

阅读全文