网硕互联帮助中心
从零开始用自定义 Triton 内核编写 FlashAttention-2
本文实现 FlashAttention-2 的前向传播，具体包括：为 Q、K、V 设计分块策略；流式处理 K 和 V ...
标签：triton
GTE-Pro环境配置：Ubuntu 22.04 + CUDA 12.1 + Triton推理服务器集成
GTE-Pro环境配置：Ubuntu 22.04 CUDA 12.1 Triton推理服务器集成 1. 为什么需要专门配置GTE-Pro的运...
基于Triton推理服务器的性能优化实践
文章浏览阅读1.2k次，点赞18次，收藏14次。NVIDIA的Triton推理服务器通过动态批处理、模型并发和TensorRT加速等多种优化策略，不仅充分发挥G...
