PyBrain入门实践：使用预训练模型权重

学习目标

本课程将引导学员了解如何在PyBrain中加载和使用模型权重，以及如何根据需求基于模型权重进行训练。通过本课程的学习，学员将能够独立地在项目中应用模型权重，提高模型的性能和效率。

相关知识点

• 在PyBrain中使用预训练模型权重

学习内容

1 在PyBrain中使用预训练模型权重

1.1 PyBrain库的安装与基本使用

在开始使用PyBrain中的预训练模型之前，首先需要确保环境中已经安装了PyBrain库。PyBrain是一个用于机器学习的Python库，它提供了多种神经网络模型和其他机器学习算法。

首先，这里需要获取PyBrain的源码库，获取方式如下：

注意：pip安装的PyBrain版本最新为0.3.0，与本课程不适配，需要编译0.3.3版本的包。PyBrain自2015年发布0.3.3版本以来就没再进行过版本更新，其源码中很多scipy引用的功能模块在当前已经全部移动到了numpy中，因此这里提供下载的PyBrain源码已经过改造，将所有原本涉及到的scipy引用替换为了numpy，直接编译即可。

!wget https://model-community-picture.obs.cn-north-4.myhuaweicloud.com/ascend-zone/notebook_codes/356986f62ed711f0978dfa163edcddae/pybrain.zip --no-check-certificate

!unzip pybrain.zip

进入到源码包路径开始编译安装：

%cd pybrain/

import sys
%pip install wheel==0.44.0
%pip install ./

%cd ../

下面是一个简单的例子，用PyBrain初始化了一个简单的前馈神经网络，包含一个输入层、一个隐藏层和一个输出层，通过FullConnection类定义了层之间的连接，最后再通过调用sortModules方法准备好网络，使其可以用于训练或预测。

import torch
import torch.nn as nn
import numpy as np
from pybrain.structure import FeedForwardNetwork, LinearLayer, SigmoidLayer, FullConnection

# 创建PyBrain模型
pybrain_net = FeedForwardNetwork()
inLayer = LinearLayer(2)
hiddenLayer = SigmoidLayer(3)
outLayer = LinearLayer(1)

pybrain_net.addInputModule(inLayer)
pybrain_net.addModule(hiddenLayer)
pybrain_net.addOutputModule(outLayer)

in_to_hidden = FullConnection(inLayer, hiddenLayer)
hidden_to_out = FullConnection(hiddenLayer, outLayer)

pybrain_net.addConnection(in_to_hidden)
pybrain_net.addConnection(hidden_to_out)
pybrain_net.sortModules()

# 创建对应的PyTorch模型
class PyTorchModel(nn.Module):
    def __init__(self):
        super(PyTorchModel, self).__init__()
        self.fc1 = nn.Linear(2, 3)
        self.sigmoid = nn.Sigmoid()
        self.fc2 = nn.Linear(3, 1)
        
    def forward(self, x):
        x = self.fc1(x)
        x = self.sigmoid(x)
        x = self.fc2(x)
        return x

torch_model = PyTorchModel()

# 提取PyBrain权重并加载到PyTorch模型
w1 = in_to_hidden.params.reshape(3, 2)  # 输入层到隐藏层权重
w2 = hidden_to_out.params.reshape(1, 3)  # 隐藏层到输出层权重

with torch.no_grad():
    torch_model.fc1.weight.copy_(torch.tensor(w1, dtype=torch.float32))
    torch_model.fc1.bias.zero_()  # PyBrain默认偏置为0
    torch_model.fc2.weight.copy_(torch.tensor(w2, dtype=torch.float32))
    torch_model.fc2.bias.zero_()  # PyBrain默认偏置为0

# 保存PyTorch模型
torch.save(torch_model.state_dict(), 'pretrained_pytorch_model.pth')
print("pretrained_pytorch_model.pth模型权重保存成功")

pretrained_pytorch_model.pth模型权重保存成功

这里从PyBrain模型中提取输入层到隐藏层、隐藏层到输出层的权重，将其复制到PyTorch模型对应的层中，最后将PyTorch模型的状态字典保存为pretrained_pytorch_model.pth文件，可以当作预训练模型权重进行演示（这里未经过训练），用于后续的模型预训练权重加载和训练。

1.2 模型权重的加载与应用

PyBrain库虽然没有直接提供大量的预训练模型，但可以利用其灵活性来加载和使用其他来源的预训练模型。例如可以使用PyTorch或TensorFlow训练一个模型，然后将其转换为PyBrain可以使用的格式。这里先简单展示如何加载一个简单模型的权重，并使用它进行预测。

这里使用前面保存的预训练模型pretrained_pytorch_model.pth，首先创建一个与之前结构相同的PyBrain网络，再加载PyTorch模型及其保存的权重，然后提取PyTorch模型的权重并将其展平重塑为PyBrain模型所需的格式，接着将这些权重设置到PyBrain模型中，最终使用该PyBrain模型进行预测并输出结果。

# 创建新的PyBrain网络
loaded_pybrain_net = FeedForwardNetwork()
loaded_inLayer = LinearLayer(2)
loaded_hiddenLayer = SigmoidLayer(3)
loaded_outLayer = LinearLayer(1)

loaded_pybrain_net.addInputModule(loaded_inLayer)
loaded_pybrain_net.addModule(loaded_hiddenLayer)
loaded_pybrain_net.addOutputModule(loaded_outLayer)

loaded_in_to_hidden = FullConnection(loaded_inLayer, loaded_hiddenLayer)
loaded_hidden_to_out = FullConnection(loaded_hiddenLayer, loaded_outLayer)

loaded_pybrain_net.addConnection(loaded_in_to_hidden)
loaded_pybrain_net.addConnection(loaded_hidden_to_out)
loaded_pybrain_net.sortModules()

# 加载PyTorch模型
loaded_torch_model = PyTorchModel()
loaded_torch_model.load_state_dict(torch.load('pretrained_pytorch_model.pth'))

# 提取PyTorch权重并加载到PyBrain模型
with torch.no_grad():
    torch_w1 = loaded_torch_model.fc1.weight.numpy()
    torch_w2 = loaded_torch_model.fc2.weight.numpy()
    
# 重塑权重以匹配PyBrain格式
flat_w1 = torch_w1.flatten()  # 展平为一维数组
flat_w2 = torch_w2.flatten()  # 展平为一维数组

# 设置PyBrain模型参数
loaded_pybrain_net.params[:len(flat_w1)] = flat_w1
loaded_pybrain_net.params[len(flat_w1):len(flat_w1)+len(flat_w2)] = flat_w2

# 使用预训练模型进行预测
input_data = [1.0, 2.0]
output = loaded_pybrain_net.activate(input_data)
print("预测结果:", output)

预测结果: [0.0579931]
这里使用该预训练模型对输入数据[1.0, 2.0]进行预测，由于这里加载的模型权重是未经过训练，最后打印出的预测结果还是一个无意义的数。

1.3 模型权重的微调与优化

在实际应用中，模型权重需要根据特定任务进行微调，以提高其性能。微调通常涉及对模型的部分或全部参数进行再训练，以适应新的数据集。这里首先创建了一个监督数据集SupervisedDataSet，并添加了一些训练样本。然后使用BackpropTrainer类创建了一个训练器，并指定了数据集和网络。通过调用trainEpochs方法对模型进行了10000个周期的训练。

from pybrain.supervised.trainers import BackpropTrainer
from pybrain.datasets import SupervisedDataSet

# 创建数据集
ds = SupervisedDataSet(2, 1)
ds.addSample([1.0, 2.0], [0.5])
ds.addSample([2.0, 3.0], [0.7])

# 创建训练器
trainer = BackpropTrainer(loaded_pybrain_net, dataset=ds)

# 训练模型
trainer.trainEpochs(10000)

# 评估模型
print("\n训练后的模型评估:")
for input, target in ds:
    output = loaded_pybrain_net.activate(input)
    print(f"输入: {input}, 预测: {output}, 目标: {target}")

训练后的模型评估:
输入: [1. 2.], 预测: [0.53573567], 目标: [0.5]
输入: [2. 3.], 预测: [0.66673985], 目标: [0.7]

最后评估训练后的模型性能，打印的每个输入的预测结果和目标值已经比较接近。

通过本课程的学习，学员应该能够熟练地在PyBrain中加载和使用模型权重，并根据需求对模型进行微调和优化。希望这些知识能够帮助学员在机器学习项目中取得更好的成果。