本文约3100字，建议阅读10分钟本文在此会介绍几个适合私人部署的最新大模型，然后手把手部署到电脑及手机
大模型无疑是此次AI革命的主角，大模型基于Scaling Law（缩放定律）
简单的说，就是数据越多，参数越大，算力越强，模型最终的能力就越强
随着模型参数和预训练数据规模的增加，模型能力与任务效果不断改善，展示出了一些小规模模型所不具备的“涌现能力”
随着大模型时代的逐步来临，以ChatGPT为代表的前沿大模型技术正逐步在经济、法律、社会等诸多领域展现其重要价值
与此同时，众多AI企业纷纷推出开源大模型，其规模正遵循扩展定律实现指数级增长
然而，一个不可忽视的趋势是，大模型的体积正在逐渐精简，使得私有化部署成为可能
这一需求显得尤为重要，特别是在对个人隐私保护要求极高的场景中
想象一下，一个能够深入了解你各类数据的AI机器人，在无需联网传输数据的情况下，直接在你的设备上运行并为你提供决策支持，这无疑大大增强了用户的信任
而如果这种AI只存在企业的“云服务器”上，尽管性能更强，但安全性及可靠性就堪忧了
本文在此会介绍几个适合私人部署的最新大模型，然后手把手部署到电脑及手机
不过，丑话说在前，现阶段不要对“本地私有部署的大模型”有过高的期待哈
那我们开始吧
一、开源大模型目前备受欢迎的大模型，诸如ChatGPT和Bard，都建立在专有的闭源基础之上，这无疑限制了它们的使用，并导致技术信息的透明度不足
然而，开源AI大模型（LLMs）正逐渐崭露头角，它们不仅增强了数据的安全性和隐私保护，还为用户节省了成本，减少了对外部依赖，实现了代码的透明性和模型的个性化定制
这里我重点介绍下Meta推出的Llama 3 和 微软的 Phi3 ， 这两款算是开源大模型的顶流，是“小而美”的大模型，而且方便部署
1、Llama 3Meta 重磅发布两款开源Llama 3 8B与Llama 3 70B模型，供外部开发者免费使用
Meta表示，Llama 3 8B和Llama 3 70B是目前同体量下，性能最好的开源模型
LLaMA是开源模型的顶流，众多国内的大型模型均源于它的构建
它通过人类反馈的强化学习 （RLHF） 进行了微调
它是一种生成文本模型，可以用作聊天机器人，并且可以适应各种自然语言生成任务，包括编程任务
从其分享的基准测试可以看出，Llama 3 400B+ 的实力几乎媲美 Claude 超大杯以及新版 GPT-4 Turbo，虽然仍有一定的差距，但足以证明其在顶尖大模型中占有一席之地
GitHub项目地址：https://github.com/meta-llama/llama32. Phi-3Phi是微软AI研究院新推出的开源小型语言模型，适用于商业使用，其优势在于体积小、资源需求少
该模型包括Phi-3-Mini、Phi-3-Small和Phi-3-Medium三种规模
Phi-3-Mini仅有3.8B参数，但在关键基准测试中表现出色，与大型模型如Mixtral 8x7B和GPT-3.5相当
更大的Small和Medium版本在扩展数据集的支持下表现更卓越
《Phi-3 技术报告：一个能跑在手机上的大模型》：https://arxiv.org/abs/2404.14219小结从基准测试上看，Llama 3 8B和Phi3 3.8B小模型都有较好的效果，它们不仅仅都是规模小，其实优化方法还有一定相似的
决定大模型性能有三要素：框架，数据和参数，参数既然要固定是小规模的，框架在这么小参数下做MOE也没意义，因此他们主要是在数据这个要素上下功夫，通过提高数据的数量或质量，从而提升小模型的性能表现
这也为后面精简大模型提供了方向
二、电脑部署的流程这里首先介绍一个大模型部署的神器：Ollama，它可以支持Llama 3、Mistral、Gemma等大型语言模型的启动并运行
通过Ollama在电脑上部署大模型，基本只要简单的两小步：1、下载安装Ollama 2、运行大模型（完）具体以Windows为例，首先到官网或文末获取
下载Ollama后，然后一路确认就安装好了
官网下载链接 https://github.com/ollama/ollama安装完Ollama后，然后打开命令行，运行命令【ollama run llama3】 ，就可以下载并运行llama3大模型了（其他模型的运行命令如上），初次下载模型的会比较慢，下载完就可以愉快地对话了
Ollama还支持其他功能如，图片等多模态输入、传入提示词调教模型等，具体可以看下文档
三、手机部署的流程相比于电脑，手机部署大模型其实意义更大，手机与大家的生活更为密切相关，而且手机上也有大量的个人数据更方便后续的交互
当下大家可能都有好几个闲置手机，如果手机性能不拉跨的话，跑个大模型还是很酷的
我的旧手机是小米8，性能算还行吧~（雷总,请打钱）
但是手机上部署会麻烦一丢丢，与电脑部署差不多，但需要先在手机上安装配置linux环境，虽然安卓手机的底层是基于linux内核， 但要重装个Linux难度可太大了
好在我发现了另外一个神器：Termux，它是一个Android上的终端模拟器，可以在Android设备上运行许多Linux命令和工具
Termux-app可以在F-Droid官网下载安装或文末获取
官网下载链接：https://github.com/termux/termux-app/releases安装后打开Termux如下图
（如有要打开多个Linux窗口，左上角右滑点击New session就可以
）接下来，通过Termux +Ollama就可以在手机上部署大模型了：第一步 ，借助Termux，在上面使用proot-distro安装个Linux系统
（proot-distro允许用户在 Termux 中安装、卸载和运行各种 Linux 发行版，包括 Ubuntu、Debian、Arch Linux 等
这样，用户就可以在他们的 Android 设备上使用完整的 Linux 环境，包括安装和运行 Linux 软件包
）// 先来安装proot-distropkg install proot-distro//使用proot-distro安装一个debianproot-distro install debian// 安装成功后通过login命令就直接进入debian，为发行版启动一个root shellproot-distro login debian第二步，同电脑的流程，安装Ollama，下载及运行大模型
//进入之后再来安装ollamacurl -fsSL https://ollama.com/install.sh | sh// 安装完毕可以查看ollama版本进行验证，出现版本号之后就可以使用ollamaollama -v// 后台开启ollama服务nohup ollama serve &//运行大模型（其他模型的命令如下图，可通过ollama list查看模型） ollama run phi3第一次要下载安装软件及运行大模型会比较慢，一小时左右吧
（安装完了，后面再次使用，只要运行上面的login debian系统、Ollama服务、运行大模型后就可以使用了
）感觉手机上跑代码，其实有种说不出来的趣味
手机上一行一行代码简陋地输入，然后看着屏幕一点点的输出，感觉实在太酷了
有兴趣的同学，可以装个远程软件Tailscale、todesk之类的，同过远程电脑上码代码，就更有味了
（不足就是手机算力跟不上，大模型回复太慢了，也比较耗电
）四、本地大模型的体验模型表现：大模型表现权威的数据可以看一些相关的测评，比如下图
在这里我只是简单测试了下手机本地部署的大模型（llama3 、Phi3），并谈谈个人的体验
总的来说，llama3各项表现中更为稳定，Phi可能有时会有差错，但是响应速度更快啊，综合感觉Phi更好用些
响应速度：受限于本地手机、电脑的性能，电脑如果有GPU可能响应还好点
但手机回复真的慢，等了几分钟就只能回几个字
比较明显的是Phi3 回应的速度会比llama3来的快，而从模型规模上面llama3 8B也差不多是phi3 3.8B的两倍了
中文能力：中文肯定是这几个开源模型的弱项，问一些比较不常见的问题，中文说着说着，就开始飚起来英文了
很多中文表达不清，让它们讲个笑话内容也很尬
但这也是没法避免的，毕竟归到底层原因，高质量的中文数据集远比不上英文，这个数据层面差异后面肯定也是会被不断放大
中文方面的任务，感觉llama内容会比phi3来的好一些
有兴趣还可以试试 llama的中文变种llama3-Chinesellama3phi3代码能力：看着都有模有样的，但还是可以看出来Phi3有一些语法错误
llama3phi3数学推理：两个看着都还不错，Phi3感觉更好些
llama3phi3安全性：两个都有不错的合规意识llama3phi3五、结语文末简单说两句，虽然现在AI的落地的应用还比较少，但技术的发展需要时间，再者大模型的高昂推理成本限制了其实用性
然而，有了小模型如Llama 3 和Phi3 ，大模型实用化的道路变得更加清晰
虽然小模型的训练成本较高，但推理成本低，整体上更省钱，特别是在服务大量用户时，高性能的小模型使得AI更容易摆脱成本限制，更有效地应用于各种场景
一个能自己本地部署定制的AI，别提能玩的会有多溜了~相信后面，通过模型优化、定制AI芯片等带来的算力提升，越多“小而美”的AI大模型不久就会普及到我们生活
本文到此为止，大家玩的愉快，别忘了点赞哦
有疑问可以留言评论哦~