3 为何要搭建本地大模型

• 当使用云端的大模型服务时，数据需要上传至云端服务器进行处理，这可能会带来数据隐私泄露的风险。
• 搭建本地大模型，数据仅在本地环境中流转和处理，企业或个人可以更好地掌控数据的访问权限，防止敏感信息泄露，满足对数据隐私和安全有严格要求的场景，如医疗、金融等行业。

• 不同的用户或企业可能有特定的业务需求和应用场景，本地大模型允许用户根据自己的需求对模型进行定制训练。例如，企业可以使用自己的业务数据对模型进行微调，使其更适应特定的业务任务，如特定领域的知识问答、文本生成等。
• 同时，用户可以完全控制模型的版本、参数设置和更新策略，根据实际需求进行灵活调整。

• 对于一些需要频繁使用大模型的场景，使用云端大模型服务可能会产生较高的费用，特别是在处理大规模数据或高并发请求时。
• 搭建本地大模型，虽然初期可能需要投入一定的硬件和软件成本，但从长期来看，如果使用量较大，本地部署可以降低每次调用的成本，具有更好的成本效益。

• 在云端使用大模型时，数据的上传和下载会存在一定的网络延迟，尤其是在网络不稳定的情况下，可能会影响模型的响应速度。
• 而本地大模型由于数据和计算都在本地进行，无需依赖网络传输，能够实现快速的响应，适用于对实时性要求较高的应用，如实时对话系统、工业控制中的实时决策等。

# wget https://github.com/ollama/ollama/releases/download/v0.11.7/ollama-linux-amd64.tgz
# mkdir ollama
# tar zxf ollama-linux-amd64.tgz -C ollama/
# cd ollama/
# ./ollama
# bin/ollama

4.4.2 Ollama的调试与使用方法

4.4.2.1 Ollama常用环境变量简介

4.4.2.2 ollama中的变量大全

OLLAMA_DEBUG             # 是否开启调试模式（开启后输出详细运行日志，用于问题排查），默认为 false
OLLAMA_FLASH_ATTENTION   # 是否启用 Flash Attention 优化（提升大模型注意力计算效率的技术），默认为 true
OLLAMA_HOST              # Ollama 服务器的主机地址（如配置0.0.0.0:11434可允许外部设备访问），默认为空（默认仅本地访问）
OLLAMA_KEEP_ALIVE        # 连接保持时间（超过时间自动释放空闲连接，避免资源占用），默认为 5m
OLLAMA_LLM_LIBRARY       # 自定义 LLM（大语言模型）核心库路径（用于特殊模型适配场景），默认为空（使用默认库）
OLLAMA_MAX_LOADED_MODELS # 同时加载到内存的最大模型数量（避免内存不足），默认为 1
OLLAMA_MAX_QUEUE         # 模型请求队列的最大长度（防止大量请求堆积导致服务卡顿），默认为空（无默认限制）
OLLAMA_MAX_VRAM          # Ollama 可使用的最大虚拟内存容量（如配置8GB避免显存溢出），默认为空（使用全部可用显存）
OLLAMA_MODELS            # 自定义模型存储目录（默认模型存于~/.ollama/models等系统默认路径），默认为空（使用默认目录）
OLLAMA_NOHISTORY         # 是否禁用对话历史记录（开启后不保存过往对话，保护隐私），默认为 false
OLLAMA_NOPRUNE           # 是否禁用模型剪枝（禁用后保留冗余模型文件，可能增加磁盘 / 显存占用），默认为 false
OLLAMA_NUM_PARALLEL      # 模型推理时的并行任务数（影响推理速度，需根据硬件性能调整），默认为 1
OLLAMA_ORIGINS           # 允许跨域访问的来源（如配置http://localhost:3000用于前端页面调用），默认为空（默认禁止跨域）
OLLAMA_RUNNERS_DIR       # 模型运行器（负责模型加载 / 推理的组件）的自定义目录，默认为空（使用默认目录）
OLLAMA_SCHED_SPREAD      # 多模型加载时的资源调度策略（平衡不同模型的显存 / CPU 占用），默认为空（使用默认调度）
OLLAMA_TMPDIR            # Ollama 临时文件（模型下载缓存、推理中间文件等）的存储目录，默认为空（使用系统默认临时目录，如/tmp）

4.4.2.3 设置Ollama的环境变量

# vim/etc/systemd/system/ollama.service
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_ORIGINS=*"
Environment="OLLAMA_DEBUG=1"
Environment="OLLAMA_FLASH_ATTENTION=1"
Environment="OLLAMA_MODELS=/mnt/data/.ollama/models"
Environment="OLLAMA_KEEP_ALIVE=24h"
Environment="OLLAMA_NUM_PARALLEL=2"
Environment="OLLAMA_MAX_LOADED_MODELS=2"

# mkdir -p /mnt/data/.ollama/models
# chown -R ollama:ollama /mnt/data/.ollama/models
# chmod -R 755 /mnt/data/.ollama/models

# systemctl daemon-reload
# systemctl restart ollama
# systemctl enable ollama.service

# 对于每个环境变量，在[Service]部分下添加一行Environment.
# OLLAMA_HOST=0.0.0.0                        # 外网访问
# OLLAMA_MODELS=/mnt/data/.ollama/models     # 模型默认下载路径
# OLLAMA_KEEP_ALIVE=24h                      # 设置模型加载到内存中保持24个小时(默认情况下，模型在卸载之前会在内存中保留5分钟)
# OLLAMA_HOST=0.0.0.0:8080                   # 修改默认端口11434端口
# OLLAMA_NUM_PARALLEL=2                      # 设置2个用户并发请求
# OLLAMA_MAX_LOADED_MODELS=2                 # 设置同时加载多个模型

默认情况下，ollama模型的存储目录如下：

# macOS:`/.ollama/models`
# Linux:`/usr/share/ollama/.ollama/models` 
# Windows:`C:\Users\<username>\.ollama\models`
# journalctl-uollama|grep-i'prompt='  # 查看日志
# /set verbose                        # 设置以查看token速度

4.4.2.4 Ollama使用常见的指令

# ollama serve        # 启动ollama 
# ollama create       # 从模型文件创建模型 
# ollama show         # 显示模型信息 
# ollama run          # 运行模型 
# ollama pull         # 从注册表中拉取模型 
# ollama push         # 将模型推送到注册表 
# ollama list         # 列出模型 
# ollama cp           # 复制模型 
# ollama rm           # 删除模型 
# ollama help         # 获取有关任何命令的帮助信息

4.4.2.5 Ollama中模型的管理

# ollama pull qwen:7b

# 模型:参数数量
# qwen:7b表示qwen模型的7b版本。7b就是10亿个参数

等待下载完成

# ollama list

# ollama run qwen:7b     # 此时就可以用本地大模型了
>>> /bye                 # 退出模型

# ollama cp qwen:7b my-qwen:7b
# ollama list

# 查看模型位置
# ollama show --modelfile qwen:7b
# 复制模型到指定目录
# cp /mnt/data/.ollama/models/blobs/sha256-87f26aae09c7f052de93ff98a2282f05822cc6de4af1a2a159c5bd1acbd10ec4 /mnt/qwen_7b.guuf

# vim myqwen\:7b
FROM /mnt/qwen_7b.guuf

# ollama create test-qwen:7b -f myqwen\:7b
# ollama list

# ollama run hf.co/{username}/{repository}
# 要选择不同的量化方案，只需在命令中添加一个标签：
# ollama run hf.co/{username}/{repository}:{quantization}
# 例如：量化名称不区分大小写
# ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:IQ3_M
# ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:Q8_0
# 还可以直接使用完整的文件名作为标签：
# ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:Llama-3.2-3B-Instruct-IQ3_M.gguf

# systemctl stop ollama.service
# systemctl disable ollama.service
# rm -fr /etc/systemd/system/ollama.service
# rm -fr /usr/local/bin/ollama
# rm -fr /usr/share/ollama/
# userdel -r ollama
# groupdel ollama

5.2 本地知识库的构建

5.3 利用MaxKB构建本地知识库

5.3.1 MaxKB简介

• 开箱即用：支持直接上传文档、自动爬取在线文档，支持文本自动拆分、向量化，智能问答交互体验好。
• 无缝嵌入：支持零编码快速嵌入到第三方业务系统，让已有系统快速拥有智能问答能力。
• 模型中立：支持对接各种大语言模型，包括本地私有大模型（Llama 3 / Qwen 2 等）、国内公共大模型（通义千问 / 腾讯混元 / 字节豆包 / 智谱 AI / 百度千帆 / Kimi / DeepSeek 等）和国外公共大模型（OpenAI /Gemini 等）。
• 灵活编排：内置工作流引擎和函数库，支持编排 AI 工作过程，满足复杂业务场景下的需求

• 根据标题逐级下钻式分段（最多支持 6 级标题），每个段落最多 4096 个字符；
• 当最后一级的文本段落字符数超过设置的分段长度时，会查找分段长度以内的回车进行截取。

• 识别标题格式转换成 markdown 的标题样式；
• 逐级下钻进行分段（最多支持 6 级标题），每个段落最多 4096 个字符。

• 按照标题# 进行分段，若没有#标题的则按照字符数4096个字符进行分段；
• 查找分段长度以内的回车进行截取。

• 文本文件:：Markdown、TXT、PDF、DOCX、HTML、XLS、XLSX、CSV、ZIP；
• 表格：XLS、XLSX、CSV、ZIP;
• QA 问答对：XLS、XLSX、CSV、ZIP；
• 每次最多上传 50 个文件；
• 每个文件不超过 100 MB；
• 支持选择文件夹，上传文件夹下符合要求的文件。

• 我们可以提前把可能出现的问题尽可能的关联到相应的知识分段中，这样可以大大提高命中率调整知识库命中方式及命中概率。

• 通过命中测试，我们可以看到问题的命中率在0.8的时候时得到的答案时相对准确的。所以我们可以设定我们的知识库直接回答的阈值为0.9这样我们就可以更准确的命对应的分段。