分步讲解 OpenAI GPT-OSS 本地部署全流程

（以开源模型 GPT-2 为例，适用于 Linux/macOS 系统）

步骤 1：环境准备

1. 安装 Python 3.7+

   sudo apt update && sudo apt install python3-pip  # Ubuntu/Debian
   brew install python@3.9                         # macOS
   

2. 安装依赖库

   pip3 install tensorflow==2.4.1 transformers numpy flask
   

步骤 2：下载模型文件

1. 克隆官方仓库

   git clone https://github.com/openai/gpt-2.git
   cd gpt-2
   

2. 下载预训练模型

   • 选择模型大小（示例：355M 模型）：

     python3 download_model.py 355M
     

   • 模型将保存在 models/355M 目录

步骤 3：配置推理环境

1. 创建交互脚本
   新建 app.py 文件，内容如下：

   from transformers import GPT2LMHeadModel, GPT2Tokenizer
   import torch
   
   model_name = "models/355M"  # 模型路径
   tokenizer = GPT2Tokenizer.from_pretrained(model_name)
   model = GPT2LMHeadModel.from_pretrained(model_name)
   
   def generate_text(prompt, max_length=100):
       inputs = tokenizer.encode(prompt, return_tensors="pt")
       outputs = model.generate(inputs, max_length=max_length, num_return_sequences=1)
       return tokenizer.decode(outputs[0], skip_special_tokens=True)
   
   if __name__ == "__main__":
       while True:
           prompt = input("输入提示 >>> ")
           print("生成结果:", generate_text(prompt))
   

步骤 4：启动本地交互

1. 运行脚本

   python3 app.py
   

2. 交互示例

   输入提示 >>> 人工智能的未来
   生成结果 >>> 人工智能的未来将深刻改变人类社会。从医疗诊断到自动驾驶，机器学习技术正在...
   

步骤 5：高级功能扩展

1. API 服务化
   使用 Flask 创建 Web API：

   from flask import Flask, request, jsonify
   app = Flask(__name__)
   
   @app.route('/generate', methods=['POST'])
   def api_generate():
       prompt = request.json['prompt']
       result = generate_text(prompt)
       return jsonify({"response": result})
   
   if __name__ == "__main__":
       app.run(host='0.0.0.0', port=5000)
   

   • 通过 curl 调用：

     curl -X POST http://localhost:5000/generate -H "Content-Type: application/json" -d '{"prompt":"气候变化"}'
     

常见问题解决

• 显存不足：
  在 generate() 中添加参数 device_map="auto" 启用 CPU/多 GPU 分担负载
• 依赖冲突：
  使用虚拟环境：

  python3 -m venv gpt-env
  source gpt-env/bin/activate
  pip install -r requirements.txt
  

硬件建议：355M 模型需 4GB+ RAM，124M 模型可运行于 2GB RAM 设备（如树莓派）。完整流程耗时约 20 分钟。