概述Qwen3是阿里云通义千问团队于2025年4月28日发布的第三代大语言模型系列，包含从0.6B到235B参数的多个变体，支持密集和混合专家(MoE)两种架构。该系列模型的核心创新在于统一的混合推理框架，能够在思考模式(用于复杂多步推理)和非思考模式(用于快速响应)之间无缝切换，无需在不同模型间切换。Qwen3在36万亿tokens数据上进行预训练，是前代Qwen2.5的两倍，并将多语言支持从29种扩展到119种语言和方言。
核心创新Qwen3最突出的创新是其统一的混合推理框架。传统方法需要为不同任务部署不同的模型(如ChatGPT用于通用对话，o1用于复杂推理)，而Qwen3将这两种能力整合到单一模型中。通过动态思考预算机制，用户可以根据任务复杂度自适应地分配计算资源，在延迟和性能之间找到最佳平衡点。
这种设计理念的实现依赖于Qwen3创新的训练策略。团队在预训练阶段使用了36万...
ChunkKV：基于语义块的KV缓存压缩技术
ChunkKV：基于语义块的KV缓存压缩技术
ArXiv ID: 2502.00299作者: Xiang Liu, Zhenheng Tang, Peijie Dong, Zeyu Li, Yue Liu, Bo Li, Xuming Hu, Xiaowen Chu机构: NVIDIA, Hong Kong University of Science and Technology发布日期: 2025-02-01会议: NeurIPS 2025
摘要传统KV缓存压缩方法以单个token为单位进行重要性评估和淘汰，忽略了语言的语义连贯性。ChunkKV创新性地将语义块（semantic chunks）作为压缩的基本单元，保持完整的语言结构和上下文完整性。
系统通过三个核心技术实现高效压缩：
语义块识别：基于句法分析和语义边界检测，将token序列划分为有意义的语义单元
块级重要性评估...
Squeezed Attention：基于语义聚类的长上下文LLM推理加速
Squeezed Attention：基于语义聚类的长上下文LLM推理加速
ArXiv ID: 2411.09688作者: Coleman Hooper, Sehoon Kim, Hiva Mohammadzadeh, Monishwaran Maheswaran, Sebastian Zhao, June Paik, Michael W. Mahoney, Kurt Keutzer, Amir Gholami机构: UC Berkeley, SqueezeAI Lab发布日期: 2024-11-14会议: ACL 2025
摘要长上下文LLM推理面临的核心挑战是注意力计算的二次复杂度问题。当上下文长度从8K扩展到128K时，KV缓存大小和注意力计算量呈指数级增长，导致推理延迟急剧上升。
Squeezed Attention提出了一种创新的语义压缩方案，通过离线K-means聚类将...
长上下文 LLM 在长上下文学习中的挑战
长上下文 LLM 在长上下文学习中的挑战
ArXiv ID: 2404.02060作者: Tianle Li, Ge Zhang, Quy Duc Do, Xiang Yue, Wenhu Chen机构: University of Waterloo, Tencent AI Lab发布日期: 2024-04-02基准: LongICLBench
摘要大型语言模型在处理长序列方面取得了重大进展，一些模型甚至声称能够处理数百万 token。然而，它们的性能评估主要局限于困惑度和合成任务等指标。本文提出 LongICLBench，一个全面的基准测试套件，专门评估长上下文 LLM 在实际长上下文学习任务中的表现。评估结果揭示了令人惊讶的发现：即使是声称支持超长上下文的模型，在实际长上下文学习任务中也表现不佳。性能随上下文长度增加显著下降，尤其是当有用信息分散在长文本中时。
问题背景长上...