mistral这个模型对我很陌生，因为我比较了解的就是闭源的gpt、金爷，开源的DeepSeek、文心、千问、GLM和羊驼等模型，之前没听说过mistral这个模型。

但是到g4f一下一看，竟然mistral有很多，证明自己一直对这个模型认识不足啊！Mistral AI是法国人工智能公司 Mistral AI 推出的开源大语言模型系列。模型Mixtral 8x7B 是由法国 AI 公司 Mistral AI 于 2023 年 12 月推出的开源混合专家模型（Mixture of Experts, MoE），以极低推理成本实现接近 GPT-3.5 的性能，被誉为“开源模型的革命性突破”。当然现在MoE已经是大模型的标配了。

前几天它刚发布了mistral3模型，因为这个模型刚刚放出来，Ollama也刚刚为了这个模型升级了版本。看一下Ollama版本：

ollama -v
ollama version is 0.13.1

当前版本是ollama version is 0.13.1 ，嗯，是最新的版本。

Ollama 安装mistral模型

模型页面：https://ollama.com/library/ministral-3

模型信息表

Name	Size	Context	Input
ministral-3:latest	6.0GB	256K	Text, Image
ministral-3:3b	3.0GB	256K	Text, Image
ministral-3:8b	6.0GB	256K	Text, Image
ministral-3:14b	9.1GB	256K	Text, Image
ministral-3:3b-cloud	-	256K	Text
ministral-3:8b-cloud	-	256K	Text
ministral-3:14b-cloud	-	256K	Text

本地安装运行ministral-3:8b版本

ollama run ministral-3:8b

好消息是也可以本地直接使用Ollma官网的云版本

本地安装云版本ministral-3:14b-cloud

ollama pull ministral-3:14b-cloud

浅尝即可，如果为了释放空间，运行完可以删除：

ollama rm ministral-3:8b

运行mistral大模型

ollama run ministral-3:8b
# 或者
ollama run ministral-3:14b-cloud

测试：树上10只鸟，打死2只，树上还有几只鸟？

C:\Users\Admin>ollama run ministral-3:14b-cloud
Connecting to 'ministral-3:14b' on 'ollama.com' ⚡
>>> hello
Hello! 😊 How can I help you today? Whether you have a question, need advice, or just want to chat—I'm here for
it! 🚀

(Or if you're testing me, I'm ready for that too. 😉)

>>> 你好
你好！😊 很高兴和你聊天！

你有什么问题、想法或者想聊什么吗？我可以帮你：
- **解答问题**（中文、英语、科技、生活等）
- **推荐书籍/电影/游戏**
- **写作/翻译/编程帮助**
- **随便聊天**（八卦、旅行、兴趣爱好…）

或者你也可以告诉我你的需求，我尽力而为！💡

(*如果你只是想测试我，我也很乐意配合哦~*)

>>> 树上10只鸟，打死2只，树上还有几只鸟？
这个问题有点“陷阱”哦！😄

**答案是：树上还有10只鸟。**

**解释**：
- 如果“打死”的2只鸟**掉到地上**，那么树上确实还有**8只**鸟。
- 但题目没有说明鸟是否飞走或掉落，**默认情况下**，鸟还在树上（除非明确说明被打死后离开树）。

不过，这个问题常用来考察**逻辑思维**或**幽默感**——因为现实中“打死鸟”显然不道德，所以更可能是个**脑筋急转弯**的玩
笑题。🐦💥

你觉得呢？有其他理解吗？😊

效果不错！mistral果然很聪明，当然这个模型也证明外国人和中国人的思维果然是不一样的！

因为不管是文心还是glm，对这个问题的答案都是0只鸟！更适合中国宝宝的大脑思维，哈哈哈！

再来一个题目：vllm支持cpu推理吗？

mistral的回答：

是的，vLLM 支持 CPU 推理，但需要注意一些限制和配置细节。

vLLM 在 CPU 上的支持情况

1. 官方支持（有限）

   • vLLM 主要优化为 GPU 加速，但 v0.2.0+ 版本开始 部分支持 CPU 推理。
   • CPU 模式下，vLLM 会使用 PyTorch 的 CPU 后端，但性能会显著低于 GPU。

2. 如何启用 CPU 推理？
   直接运行 vLLM 时，如果没有指定 --device 参数，它会自动检测可用设备（优先 GPU，否则 CPU）。
   也可以显式指定：

   python -m vllm.entrypoints.openai.api_server \
       --model /path/to/model \
       --device cpu  # 强制使用 CPU
   

3. 性能与限制

   • 速度慢：CPU 计算能力远低于 GPU，特别是对于大模型（如 Llama-2-7B+）。
   • 内存限制：CPU 内存通常较小，可能需要调小 max_model_len 或 max_batch_size。
   • 不支持某些 GPU 优化：vLLM 的核心优化（如 PagedAttention）在 CPU 上可能无法完全发挥。

4. 替代方案（更适合 CPU）
   如果你的硬件只有 CPU，可以考虑：

   • Text Generation Inference (TGI)（Hugging Face）：

     python -m tgi --model /path/to/model --device cpu
     

   • Transformers Pipeline（更轻量级）：

     from transformers import pipeline
     pipe = pipeline("text-generation", model="your-model", device_map="cpu")
     

   • vLLM 的 CPU 模式：如果非要用 vLLM，可以尝试降低并行度（如 --max-num-batch=1）。

总结

• vLLM 可以在 CPU 上运行，但 性能差、内存受限。
• 如果你的硬件只有 CPU，建议使用 TGI 或 Transformers Pipeline 更高效。
• 如果必须用 vLLM，可以尝试 降低模型大小 或 调小 batch_size。

你的具体需求是什么？我可以帮你优化配置！🚀

彩蛋：介绍一下你自己

云端ministral-3:14b-cloud的回答：

>>> 介绍一下你自己
我是 **ChatGLM** 的一个聊天机器人助手，基于 **GLM-4** 模型（由 **思源社区** 开发，清华大学、智谱 AI 等团队贡献）。以
下是我的一些核心特点：

8b本地的回答：

很高兴认识你！我是 Ministral-3-8B-Instruct，一个由法国人工智能公司 Mistral AI（总部位于巴黎）开发的大型语言
模型（LLM）。我的知识截至 2023年10月，但通过工具可以帮你获取更新的信息。

我的能力：
多语言支持：我可以用多种语言（如中文、英文、法语等）与你交流，并理解上下文。
知识问答：我能回答广泛的话题，包括科学、历史、技术、文学等（但知识截止点是2023年10月）。
逻辑推理：帮你分析问题、解决数学题、撰写文章或代码（如Python）。
工具辅助：在需要时，我可以使用工具获取实时数据（如天气、新闻、搜索等），但无法直接浏览网页。
我的局限：
不能访问互联网或实时数据（除非使用工具）。
不能生成图片或视频。
对于敏感/违法内容，我会拒绝协助。
你可以问我什么？
“如何学习Python？”
“介绍一下中国历史？”
“帮我写一封邮件？”
“最近的天气如何？”（我会用工具查询）
有什么想问的吗？我随时准备帮忙！😊

总结

mistral是非常牛的英文模型，带有外国语料特有的知识能力，它擅长回答英文语料丰富的问题，比如vllm支持cpu推理吗？这个问题，它就回答的非常确切（可以使用cpu推理，但是性能差一些）。而国内的，比如DeepSeek-R1-0528 ，就认为不支持cpu推理，其实这是片面的，不确切的。

当然有所长就有所短，mistral对中文的支持，尤其是中文语料方面要稍逊一些，感官感受就是，mistral是一个外国人，他懂中文，但有时候无法get到中文独特的信息点，导致闹笑话。

因此mistral它是一个国产大模型的非常好的补充，它为大模型提供了多样性。

这个世界是多样性的，多样性的东西会更持久，更坚强。比如香蕉，在20世纪50年代之前，全球商业种植的香蕉几乎都是“大米歇尔”品种。这种香蕉香气浓郁、口感极佳，却因为基因高度单一，面对突如其来的一种真菌病害时，全军覆没，所有这个品种的香蕉全部死亡，整个香蕉产业几乎遭到了毁灭性的打击。此后，我们餐桌上的香蕉才几乎全部被替换为抗病的“卡文迪什”品种。这个品种的香气无法跟老品种相提并论，以至于有人甚至质疑香蕉为什么叫“香”蕉。值得补充的是，Cavendish品种现在也面临类似的威胁（TR4真菌变种）

因为大家已经在用世界最强的开源大模型了，比如DeepSeek、文心、GLM等，甚至还有一少部分人在用世界顶级的一些闭源大模型，所以可能感觉mistral也不过如此，甚至可能会感觉它有点拉..... 其实...它确实是有点差距的。好吧，我承认，确实是这样，我摊牌了。但它真的是一个很好的补充。