vLLM是一款为大语言模型推理加速设计的框架，通过PagedAttention算法有效管理内存，大幅提升吞吐量。本教程提供vLLM的配置和运行指南，帮助读者从零开始体验AI大模型的强大功能。教程包含在OpenBayes云平台上部署和本地部署的详细步骤，以及如何调用vLLM服务进行推理。适合想要学习和应用大模型的程序员和AI爱好者。

前排提示，文末有大模型AGI-CSDN独家资料包哦！

vLLM (Virtual Large Language Model) 是一款专为大语言模型推理加速而设计的框架，其依靠卓越的推理效率和资源优化能力在全球范围内引发广泛关注。来自加州大学伯克利分校 (UC Berkeley) 的研究团队于 2023 年提出了开创性注意力算法 PagedAttention，其可以有效地管理注意力键和值。在此基础上，研究人员构建了高吞吐量的分布式 LLM 服务引擎 vLLM，实现了 KV 缓存内存几乎零浪费，解决了大语言模型推理中的内存管理瓶颈问题。与 Hugging Face Transformers 相比，其吞吐量提升了 24 倍，而且这一性能提升不需要对模型架构进行任何更改。

在本教程中，将逐步展示如何配置和运行 vLLM，提供从安装到启动的完整入门指南。

教程地址：
go.openbayes.com/of0si

使用云平台：OpenBayes
openbayes.com/console/sig…

登录 OpenBayes.com，在「公共教程」页面，选择「vLLM 入门教程：零基础分步指南」教程。

页面跳转后，点击右上角「克隆」，将该教程克隆至自己的容器中。

选择「NVIDIA RTX 4090」以及「vLLM」镜像，OpenBayes 平台上线了新的计费方式，大家可以按照需求选择「按量付费」或「包日/周/月」，点击「继续执行」。

稍等片刻，待系统分配好资源，当状态变为「运行中」后，点击「打开工作空间」，即可跳转至 Jupyter 工作空间。

进入 Jupyter 工作空间后，点击「README.md」可以看到模型的相关简介和运行步骤介绍。

首先要安装 vLLM，平台已完成 vLLM 的安装，在平台上操作可跳过此步骤。在本地部署，要先输入「pip install vllm」，并确保机器运行的是 CUDA 12.1 版本的 CUDA。

之后开始使用，首先是模型的准备，可以使用平台中的公共模型，或者通过 HuggingFace 模型库自行下载模型。

下面我们进行离线推理，在「终端」中输入「python offline_infer.py」。

然后我们启动 vLLM 服务器，平台给出了主要的参数设置，可以以此为对照。

创建兼容 OpenAI API 接口的服务器。运行「python3 -m vllm.entrypoints.openai.api_server --model /input0/Qwen-1_8B-Chat/ --host 0.0.0.0 --port 8080 --dtype auto --max-num-seqs 32 --max-model-len 4096 --tensor-parallel-size 1 --trust-remote-code」命令启动服务器。

在成功启动服务后，我们就可以调用该服务，平台提供了两种方法：

1. 使用调用代码「python api_infer.py」，在终端输入命令。

2. 使用 Curl 命令请求，输入「curl http://localhost:8080/v1/completions -H “Content-Type: application/json” -d ‘{ “model”: “/input0/Qwen-1_8B-Chat/”, “prompt”: “描述一下北京的秋天”, “max_tokens”: 512 }’」命令。

如果在自己本地部署，将地址换为右侧 API 地址即可。

读者福利：倘若大家对大模型感兴趣，那么这套大模型学习资料一定对你有用。

针对0基础小白：

如果你是零基础小白，快速入门大模型是可行的。
大模型学习流程较短，学习内容全面，需要理论与实践结合
学习计划和方向能根据资料进行归纳总结

包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉大模型视频和PDF合集👈

这里我们能提供零基础学习书籍和视频。作为最快捷也是最有效的方式之一，跟着老师的思路，由浅入深，从理论到实操，其实大模型并不难。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓