前言：为什么要在本地运行AI？
你是否也曾想过，拥有一个像电影里那样，完全属于自己、无需联网、保护隐私的私人AI助手？得益于开源社区的发展，这个梦想现在已经触手可及！本教程将手把手地带你，在一台普通的家用游戏电脑上，成功部署当前最强大的开源模型之一——Llama 3 8B。

本地AI的魅力：
- 绝对隐私： 所有对话数据都保留在你的电脑上，无人窥探。
- 完全免费： 无需支付任何API费用，永久免费使用。
- 断网可用： 一旦模型下载完成，你可以带着笔记本在任何没有网络的地方使用它。
- 无限可能： 从编程辅助、文案创作到角色扮演，玩法由你定义！

硬件配置建议：
本教程适用于拥有 NVIDIA 或 AMD 独立显卡，且显存 ≥ 6GB 的 Windows 用户。8GB 显存可获得本文所述的最佳体验。

第一步：下载并安装 LM Studio

1. 打开您的浏览器，访问 LM Studio 的官方网站：LM Studio 官网
2. 在网站首页，您会看到一个大大的下载按钮。点击 “Download LM Studio for Windows”。
   
3. 下载完成后，您会得到一个 .exe 安装文件。双击它，然后按照提示完成安装。过程非常简单，和安装普通软件一样。

第二步：下载核心AI模型 (Llama 3 8B Instruct)

1. 启动 LM Studio。 第一次启动可能会稍微慢一点
   
   点击Get Started

点击Continue

这里先不下载模型点击skip

勾选Do not show this again，点击关闭

2. 进入主界面后，点击左侧菜单栏的第一个图标，一个放大镜 🔍 (Search)。
   

3. 在顶部的搜索框中，输入 Llama 3 8B Instruct，然后按回车。

4. 您会看到下方出现了很多搜索结果。请点击下拉框，选择Most Download。
   

5. 点击您选中的模型，右侧会展开一个文件列表。这里是这个模型的不同“压缩包”。对于 显存是8GB 或更低的 显卡，我们需要选择一个大小合适、效果好的版本。

6. 在文件列表中，找到带有 Q4_K_M 或 Q5_K_M 标识的版本。
   Q4_K_M (约 4.66 GB): 强烈推荐您下载这个！ 它是性能和效果的最佳平衡点，在 8GB 显存上运行非常流畅。
   Q5_K_M (约 5.53 GB): 效果略好一点，但对显存压力稍大。可以作为备选。
   

7. 找到您想要的版本后，点击它右侧的 “Download” 按钮。
   

8. 现在，切换到下方的 “Downloads” 标签页，您就可以看到模型的下载进度了。请耐心等待它下载完成。
   

第三步：加载并与AI对话

1. 模型下载完成后，点击左侧菜单栏第三个图标，一个对话气泡 💬 (AI Chat)。
   

2. 在屏幕顶部的中间位置，您会看到一个 “Select a model to load” (选择要加载的模型) 的按钮。点击它。
   

3. 在弹出的列表中，选择您刚刚下载的那个 llama-3-8b-instruct… 模型。
   

4. 关键设置 (让显卡工作):

   • 模型加载后，请看选择模型左边，有一个配置齿轮。

   • 点击齿轮，在弹出的设置界面，找到一个叫做 GPU Offload (GPU卸载) 的选项。

   • 将它的滑块向右拖动，直到最大值 (MAX)。 这会弹出一个提示，告诉您模型的所有层 (例如 33/33 层) 都会被加载到GPU上。
     

   • 最后点击Reload to apply changes这个操作就是告诉 LM Studio：“请用我强大的显卡来运行AI，而不是用慢吞吞的CPU！”

5. 开始聊天！

   • 现在，您可以在下方的聊天框里输入任何问题了！比如：
     • 你好，请做个自我介绍。
     • 帮我写一首关于夏天的五言绝句。
     • 用 Python 写一个代码，计算斐波那契数列的前10位。
   • 输入问题后按回车，AI就会开始生成答案。您会看到右侧的性能监视器开始跳动，这就是您的显卡正在努力思考的证明！

结语

恭喜你！通过本教程，你已经成功地将一个强大的私人AI助手部署到了自己的电脑上。这只是一个开始，本地AI的世界充满了无限的可能性等待你去探索。如果你觉得这篇教程对你有帮助，欢迎点赞、收藏、转发！