到目前为止,我们介绍过的每个 AI 助手配置(即 ChatGPT、Claude、Gemini 等)都会通过互联网连接将你的提示词发送到提供方的服务器。对许多工作流来说,这完全没问题。但如果你正在处理敏感的模式、受监管的数据,或者只是不想依赖互联网连接或每月的 API 账单,Navicat 也支持通过 Ollama 或 LM Studio 将 AI 助手连接到完全运行在你自己机器上的模型。

为什么要用本地模型?

即使你已经配置了云端 AI 助手,以下几个理由也值得你进行这项设置:

  • 隐私保护:你的表结构、示例数据和查询永远不会离开你的计算机。
  • 无按 token 计费的成本:模型下载后,使用它不再产生任何 API 费用。
  • 可离线工作:如果你在无法稳定联网的地方开发,这会很有用。
  • 模型选择:这两款工具都提供可供挑选的开放模型库,因此你可以让模型大小与你的硬件相匹配。.

权衡之处在于:运行在笔记本电脑上的本地模型通常无法媲美顶尖云端模型的推理质量,而且较大的模型需要实打实的内存,理想情况下还需要一块不错的 GPU 才能以可用的速度运行。因此,本地 LLM 适合起草查询、生成示例数据、编写表注释之类的常规任务,但不太适合深入的调试会话。

配置 Ollama

Ollama 在本地运行模型,并通过一个 Navicat 能够对接的简单本地服务器将其暴露出来。以下是在 Navicat 中完成配置的方法:

  • 从其官网安装 Ollama,并确保它已在你的系统上运行,且至少已配置一个模型。
  • 在 Navicat 中,转到工具 > 选项。
  • 在“选项”对话框中,选择 AI 部分,并勾选启用 AI 助手。(下图中的步骤 1)
  • 单击“+”按钮(下图中的步骤 2),并从提供方列表中选 Ollama。

    options_dialog (98K)

  • 在AI 助手名称中为其命名——例如 “Ollama (Local)”,以便与你的云端助手区分开来。
  • 在API 主机中输入你的 Ollama 服务器地址(如果与默认值不同)。
  • 选择你想让 Navicat 使用的已下载模型。

    select_model_dialog (45K)

  • 如果你希望响应的随机性更高或更低,可调整温度。
  • (可选)添加指令,为对话设定语气和规则。
  • 单击测试连接以确认一切正常。你应当会在屏幕底部看到“连接成功”的消息,持续几秒钟。
  • 单击确定以保存。

配置 LM Studio

LM Studio 基本遵循相同的模式;尽管它是一款不同的本地模型运行器,Navicat 与它的对接方式完全一样:

  • 安装 LM Studio ,并确保它正在运行,且已加载模型并启动了本地服务器。
  • 在 Navicat 中打开“选项”对话框,选择 AI 部分,如果尚未勾选,则勾选启用 AI 助手。
  • 单击 “+”按钮并选择 LM Studio。
  • 为其命名——例如 “LM Studio (local)”——输入你的 LM Studio 服务器的 API 主机(如果与默认值不同),并选择你的模型。
  • 如果你需要,可调整温度并添加一条指令。
  • 单击测试连接,然后单击确定以保存。

options_dialog_with_lm_studio_details (83K)

在助手之间切换

由于每个已配置的提供方都有自己独立的命名条目,你并不会被锁定在单一选择上。为最棘手的问题保留一个云端助手,为常规、敏感或离线的任务保留一个本地助手,并在需要时直接通过 AI 助手下拉菜单在两者间切换。

ai_assistants (43K)

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐