背景在本地运行大模型时，如果需要下载数据或模型文件，而这些文件太大且无法直接下载，增加了很多不便
有没好的办法，能够轻松在你的本地电脑上运行 LLM？第一步、安装OllamaOllama是一个开源的大型语言模型服务，提供了类似OpenAI的API接口和聊天界面，可以非常方便地部署最新版本的GPT模型并通过接口使用
支持Llama 2、Mistral、Gemma等等大型语言模型
支持热加载模型文件，无需重新启动即可切换不同的模型
一键安装的模型
本地PC一键部署整个过程和Docker Cli一样简单
#拉取模型ollama pull <model-name>#启动ollama serve第二步、安装Ollama前端程序与本地LLMs聊天的Web界面
克隆代码并启动
git clone https://github.com/HelgeSverre/ollama-gui.gitcd ollama-guiyarn installyarn dev启动后，界面如下：本地Web界面第三步、比简单更简单比简单更简单，通过 Ollama 轻松在你的电脑上运行 LLM
第一步、选择模型列表，点击下载
我选择了Chinese Llama 2 7B
这个LLM全部开源，完全可商用的中文版 Llama2 模型及中英文 SFT 数据集，输入格式严格遵循 llama-2-chat 格式，兼容适配所有针对原版 llama-2-chat 模型的优化
我们可以选择需要下载的LLM一键下载LLM还可以自定义模型位置，解决C盘没空间的问题
自定义LLM的路径第二步、下载完成后，如图所示：本地大模型列表点击WebUI按钮
第三步，Enjoy