c++AI大模型接入SDK–项目简介

项目仓库地址：.gitignore · 橘子师兄/ai-model-acess-tech - 码云 - 开源中国

1、项目背景

​ 从1994年接⼊互联⽹⾄今，中国互联⽹的发展历经了PC时代、移动互联⽹时代，尤其是在移动互联⽹时代进⾏了⼤量的海量数据、技术积累，以及硬件算⼒的巨⼤提升，之前不温不⽕的⼈⼯智能，伴随着ChatGPT的横空出现，迎来了今天AI的爆⽕，各种⼤模型、智能体应⽤等如⾬后春笋版涌现出来，AI在更进⼀步进⼊普通⼈的⽣活。现在各个⼚商也在积极拥抱AI，作为程序员我们决不能停留在简单使⽤DeepSeek、ChatGPT这种⼤模型级别的产品，⽽应该去学习⼤模型应⽤背后的相关技术，将模型接⼊到我们程序中来，让AI为⾃⼰服务，提⾼⽣产效率。本项⽬就带领⼤家从底层学习如何接⼊⼤模型，这也是进⾏⼤模型开发的第⼀步。

本项⽬ 标旨在：

• 掌握⼤模型相关的⼀些基础知识

• 掌握官⽹提供⼤模型的API接⼝的学习

• 掌握C++下远程接⼊⼤模型思路及技术实现

• 掌握C++下本地接⼊⼤模型的思路及技术实现

• 开发⼀套语⾔聊天⼤模型应⽤

2、项目演示

本项目是带领大家从零手搓各种大模型接入的SDK，在此基础上，实现一个智能网页版的AI聊天助手。
该应用目前支持以下功能：

• 获取会话列表
• 新建会话
• 获取支持模型
• 发送消息
• 获取指定会话的历史聊天记录
• 删除会话

【主界面】

【删除会话】

【模型选择】

【DeepSeek】

【qwen-plus】

**项目说明：web端接入了deepseek 和 qwen ， 但后端对deepseek 、 chatgpt、Gemini、Ollama、Qwen都进行了支持。如果用户想用的话，可以接入自己的api到环境变量然后修改前端进行支持即可。 **

3、项目架构

项目的系统架构图如下：

系统架构图说明如下：

应用层： 用户使用ChatSDK库来封装自己的应用层服务，比如实现智能聊天机器人

ChatSDK: 封装大模型管理库，包括大模型管理、Session管理以及数据存储。

• 大模型管理：负责管理并接入各种不同大模型，目前已接入deepseek-v3、gpt-4o-mini、

  gemini-2.0-flash等云端大模型；支持接入本地大模型，并向外提供统一接口，用户可以通过提

  供的接口接入自己需要大模型。

• 会话管理：支持会话管理，用户可以获取获取会话列表、历史消息等

• 数据存储层：支持会话记录的持久化存储，方便查看历史会话。

三方服务：对于接入的云端模型，最终由ChatSDK将用户消息转发给三方服务器，模型回复后将结果
返回给应用层。对于本地部署大模型，ChatSDK会将用户消息发送给本地安装的Ollama服务器，由
Ollama服务器和三方模型服务器对接，Ollama将模型的回复返回给ChatSDK，由ChatSDK将结果返
回给应用层。

下面是本项目中使用的第三方库和工具：

序号	第三方库/工具	描述
1	cpp-httplib	轻量级的C++ HTTP 客户端/服务器库
2	spdlog	高性能、超快速、零配置的 C++ 日志库
3	jsoncpp	高性能的json库，用于序列化&反序列化
4	sqlite	轻量级嵌入式关系型数据库，支持标准SQL语句
5	gflags	定义和解析命令行参数的C++库
6	gtest	跨平台的C++单元测试框架
7	curl	一款强大的命令行工具，支持HTTP、HTTPS、FTP等多种协议
8	apifox	一款集API调试、Mock数据生成、自动化测试等功能于一体的协作工具
9	CMake	一次配置，跨平台生成任何构建系统的元构建工具
10	ollama	一个可以让你在本地电脑上轻松下载、运行和操作各种大型语言模型的强大工具