动态专家搜索：在测试时增强 MoE LLM 的推理能力

动态专家搜索：在测试时增强 MoE LLM 的推理能力 ArXiv ID: 2509.22572作者: Yixuan Han, Fan Ma, Ruijie Quan, Yi Yang机构: Zhejiang University发布日期: 2025-09-26 摘要测试时扩展（TTS）通过在推理期间分配额外计算来增强大型语言模型的推理能力。然而，现有方法主要依赖输出级采样，而忽略了模型架构的作用。本文提出 DES（Dynamic Experts Search），一种利用混合专家（MoE）架构在测试时增强推理的新方法。DES 在测试时动态搜索最优的专家组合，而不是依赖训练时固定的路由策略。实验表明，DES 在相同计算预算下比传统采样方法提升**10-15%**的准确率。 问题背景MoE 架构的潜力与局限12345678910111213141516171819202122232...

阅读全文