一直很忙一直很穷

有很多年轻人玩大模型导入.gguf到ollama时遇到报错

gathering model components
Error: invalid model name

然后一团雾水,各种谷歌各种GitHub均不能解决,其实这个问题根源很深,简单说就是老外对计算机软件权限和隐私的的问题很敏感,网上有偏门的方法就是直接run一个huggingface或者modelscope的gguf链接,我没有测试过(因为宽带很慢)

解决方法其实很简单:

把GGUF文件放到Ollama的下载缓存就行了!

比如 C:\Users\Administrator\.ollama\models\blobs\1.gguf

然后 Modelfile 中

FROM C:\Users\Administrator\.ollama\models\blobs\1.gguf

路径分隔符自动适配操作系统

另外:有些人载入模型后上传文件对话,报错

registry.ollama.ai/library/*** does not support tools

这是多模态的问题(其实tools不一定是多模态,可能只是指令,比如联网获取天气预报,不过思路跟多模态的多媒体附件一样),解决方法是先下载一个有tools标签的模型,最好是底模如

ollama run llama3.1:8b

然后

ollama show --modelfile llama3.1:8b

再根据显示编辑Modelfile文件,只修改gguf文件路径

顺便说这个是因为有很多人想用大模型辅助创作,开源的主流模型都有很多审查限制,导致创作效果很差,而无审查模型官方又没有,只能自己制作(当然有资源的还是微调模型最适合自己的需求)

暂时就写这么多了!

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐