今早9點30，國內著名開源大模型平臺DeepSeek開啟了本周連續5天技術分享的第1天，開源了針對HopperGPU優化的高效MLA解碼內核——FlashMLA。

剛在Github發布瞬間就破了1000顆星，DeepSeek現在就是國內外大模型開源界的頂流。

開源地址：https://github.com/deepseek-ai/FlashMLA

網友表示，第一天就這么勁爆的嘛，真是太棒了，恭喜你們完成了如此令人印象深刻的工作和細節。

DeepSeek的FlashMLA快得簡直像是在Hopper GPU上表演單口相聲——3000 GB/s 和 580 TFLOPS，哇，接下來是什么，是和你的烤面包機進行實時對話，還是在早餐前實現完全的AGI？

太棒的 CUDA 內核了！請繼續保持出色的工作！

「AIGC開放社區」為大家簡單解讀一下FlashMLA吧，這是一種專門針對Hopper GPU優化的內核，用于加速多頭注意力解碼過程。

在自然語言處理任務中，輸入序列的長度往往是不定的，而FlashMLA針對這種情況進行了專門的優化。這種優化可以減少不必要的計算資源浪費，從而提高整體效率。

此外，FlashMLA還支持BF16，這是一種降低了精度但不會顯著影響結果的浮點數格式。支持BF16不僅可以加速計算過程，還能節省存儲空間和帶寬，對于大規模深度學習任務來說尤為重要。

FlashMLA還采用了分頁KV緩存技術，通過將鍵值對緩存分頁化（塊大小為64），能夠更智能地利用內存，并加快檢索速度，進而提高上下文管理的效率。這種緩存機制在處理大規模數據時尤其有效，能夠顯著提升系統的整體性能。

在H800 GPU上，FlashMLA展現了卓越的性能指標。它達到了3000 GB/s的內存帶寬，內核能夠高效地進行內存傳輸，從而減少內存瓶頸對性能的影響。

同時，FlashMLA還實現了580 TFLOPS的計算性能，在處理高數據吞吐量和計算密集型任務時表現非常出色。

本文素材來源DeepSeek，如有侵權請聯系刪除

繼續閱讀：

未經允許不得轉載：RPA中國 | RPA全球生態 | 數字化勞動力 | RPA新聞 | 推動中國RPA生態發展 | 流 > 剛剛，DeepSeek開源FlashMLA，瞬間破1000顆星