在这篇指南中，我会指导你如何在本地运行这个强大的语言模型，让你可以利用自己电脑的资源来保护隐私和实现离线使用。本教程还将教你如何搭建一个类似ChatGPT的友好界面，全都在你的个人电脑上完成。我会尽量简化步骤，告诉你如何在本地搭建一个带有像ChatGPT那样优美界面的运行环境。你需要准备的工具是：OllamaOllama是一个专为在macOS上轻松运行Llama 3、Mistral和Gemma等大型语言模型而设计的安装工具。你可以从下载Ollama开始。想了解更多Ollama的信息，请参考他们的GitHub仓库：ollama/ollama。在macOS上下载Ollama安装完成后，在新的终端会话中运行以下命令，检查它是否准备就绪：
ollama -v选择适合的模型根据你Mac的资源情况，你可以选择运行基础版的Meta Llama 3 8B或更大型的Meta Llama 3 70B，但请注意，你需要有足够的内存来在本地运行这些大语言模型。我在一台配备64 GB RAM的M1 Max上测试了Meta Llama 3 70B，性能表现非常好。运行Meta Llama 3 8B，只需执行以下命令：（需要4.7 GB内存）ollama run llama3:8b或者，运行Meta Llama 3 70B，执行以下命令：（需要40 GB内存）ollama run llama3:70b下载过程可能会根据你的网络速度耗时一些。搭建用户界面完成以上步骤后，你的本地已经准备好与用户界面交互的模型了。现在让我们来搭建用户界面并开始交互。搭建用户界面，我们将使用OpenWebUI（https://openwebui.com/）你需要Docker来方便地运行OpenWebUI。执行以下命令来运行OpenWebUI：docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main现在，你可以在浏览器中打开 http://localhost:3000/ 来访问界面了。你会看到这样的屏幕：点击注册，创建一个账号。放心，这些信息只会存储在你的本地，不会上传到网络。登录后，你会看到一个类似于ChatGPT的熟悉界面：现在，你可以从上方选择一个模型，开始尝试不同的大语言模型了。凭借我们目前的设置，你的选择不仅限于Meta Llama 3，还可以轻松使用其他任何开源的大语言模型。总结通过完成这些设置，你的苹果自研芯片Mac现在已经变成了一个强大的中心，不仅可以运行Meta Llama 3，还可以运行几乎所有可用的开源大语言模型。希望这篇指南对你有所帮助。欢迎在评论区分享你的体验或提出问题。请继续关注，了解更多关于如何直接从你的本机利用大数据和AI工具的技巧。
资源：在macOS上下载Ollama：https://ollama.com/download点赞关注 二师兄 talk 获取更多资讯，并在 头条 上阅读我的短篇技术文章
0 评论