鉴于大部分项目的安全性,这是针对实验室成员的一次本地大模型辅助编程教程,不相干人等仅供参考。
每次用完后,记着断开远程连接,这样确保显存不会被占用。

本地部署大模型集成至IDE内辅助编程(以VSCODE和OLLAMA为例)

现有实验室服务器内的大模型有deepseek-r1:32b-qwen-distill-q8_0和qwen3 235b可以自行选择需要的,但是考虑到服务器显存只有80G,我建议你们都用deepseek-r1:32b-qwen-distill-q8_0,这样最多能支持3人同时编程。若有重大任务,有人调用qwen3 235b。那么其他人用服务器会非常卡。
实验室服务器部署的本地模型如图所示,之后我会根据模型性能和任务需要不定时更新服务器内的模型。
在这里插入图片描述
注意:一般情况下,ollama服务一直打开,若出现模型调用不起来的情况,可以在终端检查ollama服务是否启动,如果启动了,那就是用的人太多了,去网页端吧。

1.链接到服务器后,在你的远程账户内安装你所需的编程语言插件

如下图所示,我安装了一些python语言插件进行示例,你具体使用什么语言就去安装你自己所需的插件。但是要注意这些都必须安装在服务器内。
如下图所示:
在这里插入图片描述

2.安装CLINE

在应用商店搜索CLINE并进行安装
在这里插入图片描述

3.设置CLINE

在左侧选取CLINE并进行设置,具体按下图步骤实施:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4.建立工作文件夹,让本地大模型帮助你编程

1.建立工作文件夹
在这里插入图片描述
2.命令cline,如果想让它在你建立的文件夹里编程,你可以在命令里明确工作文件夹路径,和文件夹名称。其次就是本地大模型都是蒸馏模型,而且这个插件是专攻编程的,要是和蒸馏模型闲聊,那可能会让你大失所望。
在这里插入图片描述

仅供参考,若还有问题,直接百度或者问网页端的满血大模型。

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐