江苏省交通厅门户网站建设管理文化馆网站建设方案

江苏省交通厅门户网站建设管理,文化馆网站建设方案,wordpress5.2中文版下载,短链接生成源码如果你最近刷到过“FlashAttention”#xff0c;那你一定见过那句经典介绍#xff1a;“它让传统 O(N) 的 Attention#xff0c;显存占用变成 O(N)。” 很多人平时也都用FlashAttention#xff0c;但是很少有人能够讲清楚其中的原理。 今天我们就拆开讲清楚#xff1a; …如果你最近刷到过“FlashAttention”那你一定见过那句经典介绍“它让传统 O(N²) 的 Attention显存占用变成 O(N)。”很多人平时也都用FlashAttention但是很少有人能够讲清楚其中的原理。今天我们就拆开讲清楚为什么普通 Attention 显存爆炸FlashAttention 究竟改了什么为什么它能在保持 O(N²) 计算量的同时让显存线性化。一、普通 Attention 的计算与内存瓶颈标准的自注意力Self-Attention计算如下A t t e n t i o n ( Q , K , V ) s o f t m a x ( Q K T d k ) V Attention(Q, K, V) softmax\left(\frac{QK^T}{\sqrt{d_k}}\right)VAttention(Q,K,V)softmax(dk​​QKT​)V假设输入序列长度为 N特征维度为 d。那么计算步骤计算相似度矩阵S QKᵀ → [N, N]归一化A softmax(S)加权求和O A * V显存问题出在哪关键在于那一步S QKᵀ。它是一个N×N 的矩阵会直接占据 O(N²) 的显存。举个例子假设 N4096单精度浮点数 4 字节4096² × 4B ≈ 64 MB而在多头 attention、batch 堆叠后这个数会直接上百 MB。再加上中间 softmax 的缓存与梯度整个过程几乎炸显存。二、FlashAttention 的核心思想FlashAttention 的核心不是改公式而是改计算顺序。论文题目里那句关键话非常准确“An IO-aware exact attention algorithm.”也就是说数学上结果一模一样但计算顺序被重排以最小化显存访问和缓存中间矩阵为目标。普通实现流程QKᵀ → Softmax → Dropout → (Softmax * V)问题是每一步都需要完整的 [N, N] 矩阵每层都要读写显存global memorySoftmax 的数值稳定性还要额外缓存max与sum。这些中间值不是算力瓶颈而是IO 瓶颈。GPU 大部分时间都在“搬运数据”而不是“算”。三、FlashAttention 的关键优化FlashAttention 的思路非常巧妙把 Attention 计算拆成小块tiles每次只在显存中保留局部块并在块级别完成 softmax 的归一化与累加。分块计算 QKᵀ把 Q 和 K 按块划分Q [Q₁, Q₂, ..., Q_M] K [K₁, K₂, ..., K_M]对于每个 query 块 Qᵢ依次读取每个 key 块 Kⱼ计算局部相似度矩阵 Sᵢⱼ QᵢKⱼᵀ同时在寄存器中保留该块的最大值与和。这样只需要存储一个 tile 的中间矩阵比如 64×64不会生成完整的 [N, N] 矩阵。块内 Softmax 的数值稳定处理为了保持数值精度FlashAttention 在块内维护当前最大值mᵢ累积和lᵢ。公式如下m i ( j ) m a x ( m i ( j − 1 ) , m a x ( S i j ) ) l i ( j ) e x p ( m i ( j − 1 ) − m i ( j ) ) ∗ l i ( j − 1 ) s u m ( e x p ( S i j − m i ( j ) ) ) m_i^{(j)} max(m_i^{(j-1)}, max(S_{ij})) l_i^{(j)} exp(m_i^{(j-1)} - m_i^{(j)}) * l_i^{(j-1)} sum(exp(S_{ij} - m_i^{(j)}))mi(j)​max(mi(j−1)​,max(Sij​))li(j)​exp(mi(j−1)​−mi(j)​)∗li(j−1)​sum(exp(Sij​−mi(j)​))这样在不保存全局 S 的情况下也能正确计算 softmax 归一化。同步加权求和每计算完一个块O i ( j ) s o f t m a x ( S i j ) ∗ V j O_i^{(j)} softmax(S_{ij}) * V_jOi(j)​softmax(Sij​)∗Vj​所有块处理完之后就得到了完整的输出 Oᵢ。整个过程是流式的streaming一边计算一边归一化中间结果立刻被消费不需要缓存完整 attention 矩阵。四、显存线性化的本质普通 Attention必须保存 O(N²) 的相似度矩阵所以显存复杂度是 O(N²)。FlashAttention只保存 O(N) 的输入输出Q, K, V, O中间矩阵被分块并立即释放显存复杂度降为 O(N)。计算量仍然是 O(N²)但显存访问和缓存规模线性化了。简而言之FlashAttention 不是降低计算复杂度而是降低内存访问复杂度。五、梯度计算也能高效吗梯度计算中FlashAttention 也优化了反向传播。它同样采用流式重计算recompute前向不保存完整中间激活反向时重新计算需要的局部块减少显存峰值但增加少量算力消耗。这种设计非常适合训练大模型因为 GPU 的主要瓶颈往往是显存而不是算力。FlashAttention v2采用了更高并行度 kernel 调度来提升吞吐率v3支持FP8、序列并行、多 query 批融合进一步提速并适配大模型推理。如果想详细了解FlashAttentionV2 V3的详细算法和思想文章末尾有专门分析它们的文章。FlashAttention的精妙之处不在数学而在工程调度。它通过分块tiling计算、流式streamingsoftmax和kernel 融合fusion让原本需要 O(N²) 显存的注意力计算在保持 O(N²) 计算量的同时实现了显存 O(N) 的线性化。推荐阅读FlashAttention怎么提升速度的FlashAttention2更快的注意力机制更好的并行效率FlashAttention3 全解析速度、精度、显存的再平衡FlashDecoding:让大模型推理提速的关键突破