标签：vllm

第2页

2026年LLM推理服务器生产级对比：vLLM、SGLang、TensorRT-LLM、LMDeploy与TGI的工程选型

2026年6月，LLM推理服务器已经从\"百花齐放\"走向\"四强争霸\"。vLLM、SGLang、TensorRT-LLM、LMDeploy、T...

2026-08-09阅读(665)

系列第 1 篇 · 推理选型决策官网说 vLLM 比 HuggingFace Transformers 快 3 倍，但我在自己的 RTX 506...

2026-08-03阅读(331)

【中阶·云原生】如何让 vLLM 推理性能翻倍：从 PagedAttention 原理到 K8S 全栈调度的性能工程实战专栏：《AI 工程与安全深度实战》· ...

2026-07-28阅读(149)

如何用服务器日志判断 AI 爬虫是否访问过你的网站摘要做 GEO 不能只看“感觉 AI 好像收录了”。更可靠的方法是直接分析服务器访问日志：哪...

2026-07-25阅读(220)

国产AI芯片实战：海光DCU K100-AI服务器部署DeepSeek-R1-Distill全指南在国产化AI基础设施建设的浪潮中，海光DCU K100-A...

2026-07-25阅读(337)

配置两台8*64的昇腾910b4服务器物理机，未做任何虚拟化，已经通过交换机进行互联模型和镜像下载模型： ...

2026-07-25阅读(244)

面向移动端与边缘设备的vLLM轻量化部署方案探索：模型蒸馏与裁剪的协同路径随着生成式人工智能技术的快速发展，大语言模型࿰...

2026-02-10阅读(315)

前言：2025年是大模型“百模大战”转入“推理落地”的关键一年。DeepSeek V3、Llama 3 70B 等开源权重的发布，让...

2026-02-01阅读(395)

文章目录一、LLAMA-Factory简介二、安装LLaMA-Factory三、准备训练数据四、模型训练1. 模型下载2. 全量微调3.lora微调4.QLo...

2026-01-18阅读(496)

做工业大模型项目，最容易踩的坑就是 “盲目堆技术”—— 上来就选最大参数的模型、最复杂的架构，最后要么部署不了，要么效果不达标。尤其是转行 / 没项目经验的朋友...

2026-01-14阅读(389)