用 llama.cpp 跑通 mixtral MoE 模型

使用 llama.cpp 项目三分钟快速部署由 mistral.ai 最新开源的 Mixtral MoE 大语言模型

arkohut

1323人浏览 · 2023-12-23 14:42:52

arkohut · 2023-12-23 14:42:52 发布

这里是用 llama.cpp 跑通 mixtral MoE 模型视频的笔记哦。

主要命令

安装 huggingface_hub: pip install huggingface_hub -U
下载模型 huggingface-cli download TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF mixtral-8x7b-instruct-v0.1.Q4_K_M.gguf —local_dir $PWD —local_dir_use_symlinks=False
编译 llama.cpp LLAMA_CUBLAS=1 make -j10
运行 ./main -m ~/autodl-tmp/mixtral-8x7b-instruct-v0.1.Q4_K_M.gguf -ngl 999 --color -i -cml -p prompts/chat-with-qwen.txt

相关链接

2048 AI社区

有“AI”的1024 = 2048，欢迎大家加入2048 AI社区

更多推荐

浅谈领域驱动设计（Domain-Driven Design，DDD）——从理念到落地，如何驾驭复杂业务系统

本文系统介绍了领域驱动设计（DDD）的核心思想与实践方法。DDD旨在解决业务复杂度攀升时软件系统难以演进的问题，强调让软件模型直接映射业务模型。其核心思想是以领域为中心，区分核心领域与支撑领域，通过限界上下文、通用语言、实体/值对象、聚合等构建块建立准确的业务表达。文章指出DDD不是银弹，最适合业务规则复杂、需求持续演进的系统，并提出渐进式落地路径。DDD的终极价值是保持系统长期可理解、可修改和可