网硕互联帮助中心FlashAttention-3（Hopper）代码阅读笔记
对应目录：/root/.cuda/flash-attention/hopper/ 本文整理自看 FA3 forward 路径时的问答，按「找文件 → 调用链 → 壳 → 主循环 → 关键机制 → CuTe/CUTLASS」组织，便于复习。
1. 代码在哪、核心文件是谁
| csrc/flash_attn/、flash_attn/ | FA1 / FA2 |
| hopper/ | FA3（Hopper / H100） |
| flash_attn/cute/ | FA4（CuTeDSL） |
README：cd hopper && python setup.py install，Python 包 flash_attn_3。
评论前必须登录！
注册