AbaAba-AI

“阿巴阿巴AI”是基于RWKV的本地轻量级聊天AI，无需网络完全本地运行，无需显卡纯CPU也可以运行，也就是说配置低的电脑也可以本地运行聊天AI了。

环境配置

推荐Python版本 3.9
需要模块numpy、tokenizers、prompt_toolkit、transformers、flask、flask-socketio、torch

运行要求

最低4G运行内存（CPU+4G内存，可以运行430m的小模型）
最高不限（最高可运行14b的大模型，聊天质量和效果更好）

运行设置

根据自己电脑配置在模型网站（https://huggingface.co/RWKV） 下载合适的模型
下载的所有文件放在model文件夹内，并修改main.py第12行代码，将’rwkv-4-world-430m’修改为自己下载的模型文件夹
运行main.py，在浏览器中打开http://172.0.0.1:5000 即可开始对话

演示效果

该演示环境为CPU+4G运行内存，使用’rwkv-4-world-430m’模型

核心代码

#使用transformers读取本地模型
model = AutoModelForCausalLM.from_pretrained(output_folder, trust_remote_code=True).to(torch.float32)
tokenizer = AutoTokenizer.from_pretrained(output_folder, trust_remote_code=True)
#文本预测
inputs = tokenizer(prompt, return_tensors="pt")
output = model.generate(inputs["input_ids"], max_new_tokens=1, do_sample=True, temperature=1.0, top_p=0.3, top_k=0, )
text=tokenizer.decode(output[0].tolist(), skip_special_tokens=True)#这个就是对于我们输入的文本进行预测后的结果

其实实现对话聊天的效果基于文本的续写实现，基于已有的文本对下一个即将出现的字符进行预测。

下载（与源码）

代码以及模型打包：https://pan.baidu.com/s/1NhUXFGVCUNr_-oRxqY5mHg 提取码: 52pj
电脑配置高的可以去（https://huggingface.co/RWKV） 下载更大更好的模型，运行效果会更好
开源地址：https://github.com/bilibini/AbaAba-AI