首页 > AI > ollama create 量化

ollama create 量化

AI 2025-10-12
通过llama factory训练的模型,我们可以通过ollama create命令导入到ollama中。
ollama create mymodelname -f Modelfile

但是,一般生成的模型都比较大,这里可以通过另一个参数量化模型:quantize

常见的量化分为4bit和8bit两种,代码分别为:
需要 1元 才能查看,扫码支付支付过?

通过这样量化,模型就小多了,但是性能损失不是很明显。用户级别的电脑都能运行了。

热门标签: PyQt5   neo4j数据库   宽度设置   调试工具   vb   螺丝钉   https重定向   NSSM  
下一篇:没有了