创建单独的python环境

conda create -n python311 python=3.11.7

conda activate python311

拉取仓库

git clone https://github.com/chatchat-space/Langchain-Chatchat.git

如果下载不了，本地运行代理 v2ray -config config.json

#git设置代理

git config --global http.proxy 127.0.0.1:1090

#取消代理

git config --global --unset http.proxy

进入目录

cd Langchain-Chatchat

安装全部依赖

pip install -r requirements.txt

pip install -r requirements_api.txt

pip install -r requirements_webui.txt

为了支持离线下载

pip install -U huggingface_hub

编辑环境变量

vim ~/.bashrc

在末尾加上

export HF_ENDPOINT=https://hf-mirror.com

使环境变量生效

source ~/.bashrc

下载模型

huggingface-cli download --resume-download THUDM/chatglm3-6b --local-dir chatglm3-6b

huggingface-cli download --resume-download BAAI/bge-large-zh --local-dir bge-large-zh

快速复制配置文件

python copy_config_example.py

修改配置文件

vim configs/model_config.py

修改model目录

MODEL_ROOT_PATH = ""

改为

MODEL_ROOT_PATH = "/root/model"

修改模型，对embedding_model_dict和llm_model_dict参数进行修改。

embedding_model_dict = {

"ernie-tiny": "nghuyong/ernie-3.0-nano-zh",

"ernie-base": "nghuyong/ernie-3.0-base-zh",

"text2vec": "/your_path/text2vec"

}

llm_model_dict = {

"chatyuan": "ClueAI/ChatYuan-large-v2",

"chatglm-6b-int4-qe": "THUDM/chatglm-6b-int4-qe",

"chatglm-6b-int4": "THUDM/chatglm-6b-int4",

"chatglm-6b-int8": "THUDM/chatglm-6b-int8",

"chatglm-6b": "/your_path/chatglm-6b", }

我的text2vec 路径是 /root/model/bge-large-zh

我的chatglm-6b 路径是 /root/model/chatglm3-6b

初始化自己的知识库

python init_database.py --recreate-vs

轻量级启动，使用在线模型和emddings,这个有webui界面操作

python startup.py -a --lite

更加轻量启动，只启动api相关

python startup.py --all-api

参考链接：

1.离线下载huggingface模型

https://blog.csdn.net/weixin_43431218/article/details/135403324

2.基于 ChatGLM-6B 搭建个人专属知识库

https://developer.aliyun.com/article/1212941?spm=a2c6h.12873639.article-detail.7.5b5b1ca7PgM0ht

3.项目文档

https://github.com/chatchat-space/Langchain-Chatchat/wiki/