动态专家搜索:在测试时增强MoE LLM的推理能力

动态专家搜索:在测试时增强MoE LLM的推理能力论文信息 标题: Dynamic Experts Search: Enhancing Reasoning in Mixture-of-Experts LLMs at Test Time 作者: Yixuan Han, Fan Ma, Ruijie Quan, Yi Yang 发布日期: 2025-09-26 ArXiv链接: https://arxiv.org/abs/2509.22572 核心概述测试时扩展(TTS)通过在推理期间分配额外计算来增强大型语言模型的推理能力。然而,现有方法主要依赖输出级采样,而忽略了模型架构的作用。本文提出动态专家搜索(DES),一种利用混合专家(MoE)架构在测试时增强推理的新方法。 MoE模型通过多个专家网络处理不同类型的输入,但传统的静态路由策略限制了其在推理任务中的潜力。DES的核心思想是在测...

阅读全文