最近尝试使用 uv(由 Astral 开发的超快 Python 工具链)来快速搭建一个支持调用大模型 API 的本地开发环境。整个过程高效、简洁,特别适合程序员快速验证模型能力。下面记录完整流程,供大家参考。


1. 安装 uv

uv 是一个用 Rust 编写的高性能 Python 包管理器和环境管理器,支持安装 Python、创建虚拟环境、安装依赖等,速度远超传统工具(如 pippyenv)。

下载地址:https://uv.doczh.com/getting-started/installation/

在 Linux 系统中,只需一行命令即可安装:

curl -LsSf https://astral.sh/uv/install.sh | sh

✅ 安装完成后,执行 uv --version,若输出版本号(如 uv 0.9.8),说明安装成功。


2. 初始化项目目录

创建并进入项目文件夹:

mkdir -p learnlm

cd learnlm/

3. 安装 Python 3.12

使用 uv 安装指定版本的 Python(无需 pyenv 或系统权限):

uv python install 3.12

💡 如果系统尚未安装 Python 3.12,uv 会自动下载并安装预编译版本。


4. 创建虚拟环境

基于刚安装的 Python 3.12 创建隔离的虚拟环境:

uv venv -p 3.12

这会在当前目录生成一个 .venv 文件夹。


5. 激活虚拟环境

source .venv/bin/activate

激活后,终端提示符通常会显示 (.venv),表示当前所有 Python 和 pip 操作都在该环境中进行。


6. 安装必要依赖

我们使用两个关键库:

  • modelscope:阿里云 ModelScope 平台的 SDK(可选,本文主要用于说明依赖安装流程)

  • openai:OpenAI 官方 Python SDK,用于调用大模型 API

使用 uv pip(比原生 pip 快得多)安装:

uv pip install modelscope

uv pip install openai

⚡ uv pip 完全兼容 pip 语法,但安装速度提升 10~100 倍!


7. 编写调用大模型的脚本

在项目根目录创建 demo.py 文件:

code .  # 如果你使用 VS Code

然后新建 demo.py,内容如下:

from openai import OpenAI

client = OpenAI(

    base_url="你的API地址",        # 例如:https://api.openai.com/v1 或第三方代理地址

    api_key="你的API密钥",         # 从平台获取,切勿泄露!

    default_headers={"X-Failover-Enabled": "true"},

)

response = client.chat.completions.create(

    messages=[

        {

"role": "system",

"content": "You are a helpful and harmless assistant. You should think step-by-step."

        },

        {

"role": "user",

"content": "你是什么模型?"  #问他问题

        }

    ],

    model="你的模型名称",          # 例如:gpt-4, qwen-max, glm-4 等

    stream=True,

    max_tokens=1024,

    temperature=0.7,

    top_p=0.7,

    extra_body={

"top_k": 50,

    },

    frequency_penalty=1,

)

fullResponse = ""

print("Response:")

for chunk in response:

if len(chunk.choices) == 0:

continue

    delta = chunk.choices[0].delta

# 支持 reasoning_content(如部分国产模型)

if hasattr(delta, 'reasoning_content') and delta.reasoning_content:

        fullResponse += delta.reasoning_content

        print(f"\033[90m{delta.reasoning_content}\033[0m", end="", flush=True)

elif delta.content:

        fullResponse += delta.content

        print(delta.content, end="", flush=True)

你需要替换的三个字段:

base_url

API 服务地址(如 OpenAI 官方、阿里百炼、Moonshot、DeepSeek 等)

api_key

从对应平台申请的密钥

model

支持的模型名称(例如qwen-maxglm-4gpt-4o


8. 运行脚本

激活虚拟环境后,直接使用 uv run 执行脚本(无需手动指定 Python):

uv run demo.py

✅ uv run 会自动使用当前项目 .venv 中的 Python 环境。

你将看到大模型的流式输出,支持“思考过程”高亮(灰色)和最终回答。


9. 小结

通过 uv,我们仅用几分钟就完成了:

  • Python 版本管理

  • 虚拟环境创建

  • 依赖极速安装

  • 大模型 API 调用验证

整个流程无需 sudo、无需复杂配置、全程用户级操作,非常适合快速原型开发或教学演示。


📌 附:常用命令速查

安装 uv

curl -LsSf https://astral.sh/uv/install.sh | sh

安装 Python

uv python install 3.12

创建虚拟环境

uv venv -p 3.12

激活环境

source .venv/bin/activate

安装包

uv pip install openai

运行脚本

uv run demo.py

查看已安装 Python

uv python list


🌟 推荐:将 .venv 加入 .gitignore,避免提交虚拟环境到代码仓库。


作者:fish
环境:Linux + uv 0.9+ + Python 3.12
用途:大模型本地调试、API 验证、教学实验


如果你也想高效玩转大模型开发,不妨试试 uv——它可能成为你下一个 Python 项目的“加速器”!

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐