Ling-1T - inclusionAI 大型语言模型模型概述Ling-1T 是 inclusionAI 公司于 2025 年 10月发布的大型语言模型，拥有 1T total (~50B active per token, MoE 1/32 activation ratio) 参数规模。 具备强大的逻辑推理和数学推理能力。 采用 MIT 开源许可证，允许商业使用和二次开发，为企业提供了极大的灵活性。 Ling-1T 在开源社区获得了广泛认可，Hugging Face 平台上的下载量已达到 715，获得了 197 个点赞，显示出强大的社区影响力和用户认可度。 在性能方面，支持 128K tokens 的超长上下文窗口，State-of-the-art on complex reasoning benchmarks。
核心特性
1T total (~50B active p...
FlashAttention-3：通过异步和低精度实现快速准确的注意力机制
FlashAttention-3：通过异步和低精度实现快速准确的注意力机制
ArXiv ID: 2407.08608作者: Jay Shah, Ganesh Bikshandi, Ying Zhang, Vijay Thakkar, Pradeep Ramani, Tri Dao机构: Princeton University, NVIDIA发布日期: 2024-07-11硬件目标: NVIDIA H100 (Hopper) GPU
摘要注意力机制是 Transformer 架构的核心，也是大语言模型和长上下文应用的性能瓶颈。FlashAttention-2 在 H100 GPU 上仅实现了 35% 的利用率，远未充分发挥硬件潜力。
本文提出的 FlashAttention-3 通过三项关键技术，在 H100 GPU 上实现了75% 的硬件利用率（FP16 达 740 TFLOP...