Ollama导入GGUF模型失败的解决方法
·
一直很忙一直很穷
有很多年轻人玩大模型导入.gguf到ollama时遇到报错
gathering model components
Error: invalid model name
然后一团雾水,各种谷歌各种GitHub均不能解决,其实这个问题根源很深,简单说就是老外对计算机软件权限和隐私的的问题很敏感,网上有偏门的方法就是直接run一个huggingface或者modelscope的gguf链接,我没有测试过(因为宽带很慢)
解决方法其实很简单:
把GGUF文件放到Ollama的下载缓存就行了!
比如 C:\Users\Administrator\.ollama\models\blobs\1.gguf
然后 Modelfile 中
FROM C:\Users\Administrator\.ollama\models\blobs\1.gguf
路径分隔符自动适配操作系统
另外:有些人载入模型后上传文件对话,报错
registry.ollama.ai/library/*** does not support tools
这是多模态的问题(其实tools不一定是多模态,可能只是指令,比如联网获取天气预报,不过思路跟多模态的多媒体附件一样),解决方法是先下载一个有tools标签的模型,最好是底模如
ollama run llama3.1:8b
然后
ollama show --modelfile llama3.1:8b
再根据显示编辑Modelfile文件,只修改gguf文件路径
顺便说这个是因为有很多人想用大模型辅助创作,开源的主流模型都有很多审查限制,导致创作效果很差,而无审查模型官方又没有,只能自己制作(当然有资源的还是微调模型最适合自己的需求)
暂时就写这么多了!
更多推荐

所有评论(0)