NSA：DeepSeek原生稀疏注意力机制——硬件对齐的高效长上下文方案
ArXiv ID: 2502.11089
作者: Jingyang Yuan, Huazuo Gao, Damai Dai, Junyu Luo, Liang Zhao等
机构: DeepSeek-AI, 北京大学, 华盛顿大学
发布日期: 2025年2月
摘要随着大语言模型的上下文窗口不断扩大（64K甚至更长），标准的全注意力机制在解码阶段成为严重的性能瓶颈——理论估计显示，64K上下文长度下softmax attention计算占总延迟的70-80%。DeepSeek团队提出NSA（Native Sparse Attention），一种硬件对齐的、可原生训练的稀疏注意力机制。NSA通过动态层级稀疏策略，将粗粒度的token压缩与细粒度的token选择相结合，在保持全注意力模型精度的同时，在64K序列上实现...
Qwen3-VL 30B-A3B Instruct - 阿里巴巴 大型语言模型
Qwen3-VL 30B-A3B Instruct - 阿里巴巴 大型语言模型模型概述Qwen3-VL 30B-A3B Instruct 是 阿里巴巴 公司于 2025 年 9月发布的大型语言模型，拥有 30B active (A3B MoE) 参数规模。 该模型支持多种语言，能够处理包括中文、英文在内的多语言任务，具备强大的逻辑推理和数学推理能力。 该模型采用 Apache 2.0 开源许可证，这是一个非常商业友好的许可协议，允许企业在各种场景下自由使用、修改和分发，无需担心版权限制。 Qwen3-VL 30B-A3B Instruct 在开源社区获得了广泛认可，Hugging Face 平台上的下载量已达到 412.4K，获得了 208 个点赞，显示出强大的社区影响力和用户认可度。
核心特性
30B active (A3B MoE) 参数规模：采用大规模参数设计，在性能和效率之间...
GLM-4.6 - 智谱AI 大型语言模型
GLM-4.6 - 智谱AI 大型语言模型模型概述GLM-4.6 是 智谱AI 公司于 2025 年 9月发布的大型语言模型，拥有 356.8B total (MoE) 参数规模。 在代码生成和理解方面表现出色，具备强大的逻辑推理和数学推理能力。 采用 MIT 开源许可证，允许商业使用和二次开发，为企业提供了极大的灵活性。 GLM-4.6 在开源社区获得了广泛认可，Hugging Face 平台上的下载量已达到 24.6K，获得了 672 个点赞，显示出强大的社区影响力和用户认可度。 在性能方面，Competitive with DeepSeek-V3.1-Terminus and Claude Sonnet 4。 GLM-4.6 采用了先进的 Transformer 架构和优化的训练方法，在自然语言理解、生成和推理等任务上表现出色。该模型的发布为人工智能领域带来了新的可能性，特别是...
xAI 发布 Grok 4 Fast: 性能比肩旗舰,成本降低 98%%
概述2025年9月19日,xAI 发布了 Grok 4 Fast,这是一个针对成本优化的推理模型,在保持与旗舰模型 Grok 4 相当性能的同时,将成本降低了 98%。通过平均减少 40% 的思考 token 使用量,Grok 4 Fast 在 LMArena 的文本竞技场中排名第 8,与 Grok 4 并驾齐驱,同时提供了业界最具竞争力的性价比。
核心优势极致的成本效率Grok 4 Fast 最大的突破在于其卓越的成本效率:
价格降低 98%: 相比 Grok 4,在前沿基准测试中达到相同性能所需的成本降低了 98%
思考 token 减少 40%: 平均使用的思考 token 比 Grok 4 少 40%
Token 使用量优化: 在 Artificial Analysis Intelligence Index 中使用了 6100 万 tokens,显著少于 Gemini 2....
Claude Opus 4.1
模型概述Claude Opus 4.1是Anthropic推出的Claude 4系列旗舰模型的重大更新版本。该模型在Claude Opus 4的基础上进行了显著改进,专为需要最高智能水平的复杂任务而设计。
Opus 4.1继承了Opus 4在推理、分析和创意写作方面的卓越能力,同时在性能和效率上实现了进一步提升。作为Claude 4系列的顶级模型,Opus 4.1仅向付费客户和API合作伙伴开放,定价为每百万token输入15美元、输出75美元。该模型特别适合需要深度推理、复杂分析和高质量输出的专业应用场景。
技术规格核心参数
参数规模: 未公开(推测为Claude 4系列最大规模)
上下文长度: 200,000 tokens
架构: 先进Transformer架构,针对推理和分析优化
训练数据: 未公开详细信息,训练数据截至2024年
关键创新
增强推理能力 - 在Claud...
Gemini 2.5 深度思考
模型概述Gemini 2.5 Deep Think是Google DeepMind推出的增强推理模型,采用创新的并行思考方法。该模型的核心创新在于能够同时探索多个假设,在响应前进行修正和组合。
通过延长推理时间,模型有更多时间探索不同假设,Google开发了新颖的强化学习技术来鼓励模型利用这些扩展推理路径。在数学奥林匹克IMO 2025基准测试中达到铜牌级别,在美国数学奥林匹克(USAMO)中达到第65百分位(相比Gemini 2.5 Pro的第50百分位有显著提升)。在人类最后考试(HLE)中得分34.8%(无工具),超越xAI Grok 4的25.4%和OpenAI o3的20.3%,成为该基准测试的最高分。
技术规格核心参数
参数规模: 未公开(基于Gemini 2.5 Pro架构)
上下文长度: 1,000,000 tokens输入 + 192,000 tokens输出
...
Grok 4
模型概述Grok 4是xAI发布的第四代大型语言模型,在独立AI基准测试中首次夺得榜首位置。该模型拥有约1.7万亿参数,使用比Grok 2多100倍的计算资源进行训练,并采用强化学习计算量增加10倍。
Grok 4基于xAI的Colossus超级计算机(配备20万个GPU)构建,在数学推理方面实现重大突破,Grok 4 Heavy在AIME 2025数学竞赛中达到100%满分。该模型在人类最后考试(Humanity’s Last Exam)中得分25.4%(无工具),超越Gemini 2.5 Pro和OpenAI o3。模型支持25.6万token上下文窗口,并提供原生多模态能力和工具使用集成。
技术规格核心参数
参数规模: 约1.7万亿参数
上下文长度: 256,000 tokens
架构: 大规模Transformer架构,采用混合专家系统(MoE)
训练数据: 未公开详细信...
Llama 4 Scout - Meta 大型语言模型
Llama 4 Scout - Meta 大型语言模型模型概述Llama 4 Scout 是 Meta 公司于 2025 年 4月发布的大型语言模型，拥有 17B active (16 experts, MoE) 参数规模。作为基座模型，它为下游任务提供了强大的基础能力。 使用 LLaMA 系列许可证，支持商业使用，但需遵守一定的使用条款和限制。 Llama 4 Scout 采用了先进的 Transformer 架构和优化的训练方法，在自然语言理解、生成和推理等任务上表现出色。该模型的发布为人工智能领域带来了新的可能性，特别是在需要高质量语言理解和生成的应用场景中，如智能客服、内容创作、代码辅助等领域，都展现出了巨大的应用潜力。
核心特性
17B active (16 experts, MoE) 参数规模：采用大规模参数设计，在性能和效率之间取得最佳平衡
First open：wei...
SmolLM3 3B - Hugging Face 大型语言模型
SmolLM3 3B - Hugging Face 大型语言模型模型概述SmolLM3 3B 是 Hugging Face 公司于 2025 年 1月发布的大型语言模型，拥有 3B (3.08B) 参数规模。 该模型支持多种语言，能够处理包括中文、英文在内的多语言任务，在代码生成和理解方面表现出色，具备强大的逻辑推理和数学推理能力。 该模型采用 Apache 2.0 开源许可证，这是一个非常商业友好的许可协议，允许企业在各种场景下自由使用、修改和分发，无需担心版权限制。 SmolLM3 3B 在开源社区获得了广泛认可，Hugging Face 平台上的下载量已达到 N/A，获得了 N/A 个点赞，显示出强大的社区影响力和用户认可度。 SmolLM3 3B 采用了先进的 Transformer 架构和优化的训练方法，在自然语言理解、生成和推理等任务上表现出色。该模型...