ollama create 量化
AI 2025-10-12
通过llama factory训练的模型,我们可以通过ollama create命令导入到ollama中。
但是,一般生成的模型都比较大,这里可以通过另一个参数量化模型:quantize
常见的量化分为4bit和8bit两种,代码分别为:
通过这样量化,模型就小多了,但是性能损失不是很明显。用户级别的电脑都能运行了。
ollama create mymodelname -f Modelfile
但是,一般生成的模型都比较大,这里可以通过另一个参数量化模型:quantize
常见的量化分为4bit和8bit两种,代码分别为:
通过这样量化,模型就小多了,但是性能损失不是很明显。用户级别的电脑都能运行了。
下一篇:没有了