设置ollama大模型增加上下文!释放模型的全部潜力。
·
默认情况下,模型的上下文窗口大小可能是 2048,这意味着模型在处理任务时只能“记住”最近的 2048 个 token(约 1500-2000 个单词)。虽然这个设置对于大多数简单任务已经足够,但在处理复杂任务时,它可能会成为性能瓶颈。
快速开始!
①
这里假设你拉取的模型是 qwen2.5:32b【不清楚的可以使用指令ollama list查看】,随便找个自己记得的目录,运行以下命令导出 Modelfile文件:
ollama show --modelfile qwen2.5:32b > Modelfile
②
进入增加此行【这里 32768 是你想要的上下文窗口大小。你可以根据需要调整这个值。】
PARAMETER num_ctx 32768
③
使用修改后的 Modelfile 创建一个新模型。例如:
ollama create qwen2.5:32b -f Modelfile
④
运行大模型
ollama run qwen2.5:32b
以上配置完成就可以有超强上下文能力啦!快去试试吧
更多推荐


所有评论(0)