【AI】大模型本地部署与量化：Ollama、transformers、llama.cpp实践

部署即在本地电脑中下载并运行模型，就像使用网络上的大模型API一样，但区别在于模型是运行在本地的，不收费也不会泄露信息。但模型可能很大，本地电脑可能会内存不足，这时候就需要量化来尝试缩小模型存储空间，

原文链接：掘金