引言

简要介绍OpenCompass的功能和适用场景，快速上手它的配置使用，以帮助大家快速开发。

我默认大家已经有了基本的开发环境，conda，git已经配置成功。

后续工作会在此更新

OpenCompass概述

为准确、全面、系统化地评估大语言模型的能力，OpenCompass从通用人工智能的角度出发，结合学术界的前沿进展和工业界的最佳实践，提出一套面向实际应用的模型能力评价体系。OpenCompass能力维度体系涵盖通用能力和特色能力两大部分。

注意：如果电脑有gpu，但是有可能会与torch不适配，在此我用cpu来做例子

           运行过程不要点击到终端，否则会中断

安装与配置

1.将opencompass的源码下载至本地

git clone https://github.com/open-compass/opencompass.git

2.使用conda创建opencompass的虚拟环境

conda create -n opencompass python=3.10

3.然后在pycharm中配置配置解释器，选择现有的conda，opencompass

4.安装相关依赖,在Pycharm的终端进行

 pip install -r  requirements.txt

5.添加opencompass 模块

  pip install -e 

6.环境测试

 opencompass --models hf_internlm2_5_1_8b_chat --datasets demo_gsm8k_chat_gen --dry-run

基本到这里就差不多没事了，后面配置好数据集和模型就好了

二、让opencompass跑起来

关于模型，opencompass有提前写好，自定义模型，可在官方文档学习

可用python config/tools查看目前的模型与数据集

1.配置数据集

wget https://github.com/open-compass/opencompass/releases/download/0.2.2.rc1/OpenCompassData-complete-20240207.zip

2.进行评测

由于使用cpu进行评测，为什么使cpu压力更小使用千问0.5b的模型

修改配置

在opencompass下，config/models/qwen，找到qwen1.5-0.5b-hf，修改最后一列num_gpus=0

在pycharm终端使用如下命令 

opencompass --models hf_qwen1_5_0_5b --datasets demo_gsm8k_chat_gen

时间长大约2个小时，耐心等待。

结果分析

自定义评估任务

根据以上内容有大致的思维过程，可以进行更多的配置与评估

参考资料

安装 — OpenCompass 0.5.1 文档https://opencompass.readthedocs.io/zh-cn/latest/get_started/installation.html