财联社7月5日讯(编辑 潇湘)在环球 范围内,人工智能军备比赛 最初的出发点 是寻求 “大”: 巨型模子 在海量的数据上举行 练习 ,试图模仿 具有人类智能程度 的人工智能。
然而如今 ,大量科技巨头和初创企业正在开始思量 缩小AI软件的规模,使其更自制 、更快速、更专业……
这类AI软件被称为小型语言模子 (SLM)或中型语言模子 ,利用 较少的数据举行 练习 ,通常专为特定任务 而计划 。
作为对比,那些着名 的大型语言模子 (LLM),如OpenAI的GPT-4,开辟 本钱 高出 1亿美元,练习 的参数到达 了逾1万亿。而较小的语言模子 则通常在较窄的数据集上举行 练习 ——比方 ,大概 仅仅聚焦于法律题目 上,其练习 本钱 每每 大概 不到1000万美元,参数不到100亿。较小的模子 也将斲丧 较少的算力,因此相应 每个查询的本钱 也较低。
近几个月来,微软就正在大力 大举 宣传其名为“Phi”轻量级AI模子 系列。微软首席实行 官Satya Nadella表现 ,这些模子 的巨细 只有OpenAI的ChatGPT免费模子 的1/100,而实行 很多 任务 的结果 却险些 一样好。
微软首席商务官Yusuf Mehdi表现 ,“我以为 ,我们越来越有来由 信托 ,将来 将是一个由差别 (巨细 )模子 构成 的天下 。”
Mehdi称,微软是环球 首批在天生 式人工智能上押注数十亿美元的大型科技公司之一。而我们也很快意识到,人工智能的运营本钱 比公司最初预计的要高。
微软近来 还推出了新型的AI条记 本电脑,搭载数十个人工智能模子 举行 搜刮 和图像天生 。这些模子 必要 用到的数据非常少,可以在终端装备 上运行,而不必要 像ChatGPT那样访问巨大 的基于云端的数据中心 。
谷歌以及人工智能初创公司Mistral、Anthropic和Cohere本年 也发布了更小的模子 。苹果在六月份公布该公司的AI蹊径 图时,也筹划 利用 小型模子 ,如许 就可以完全在手机上运行软件,使其更为快捷方便、也更为安全。
就连不停 处于大型模子 模子 海潮 前沿的OpenAI,也在5月发布了其旗舰模子 的新版本GPT-4o,并称该模子 运营本钱 更低。一位发言人OpenAI表现 ,该公司对将来 发布更小的模子 持开放态度。
AI模子 海潮 开始聚焦“小而美”
对于很多 任务 来说——比如 汇总文档或天生 图像,大型语言模子 如今 显得大概 会有些“奢侈”。一些行业人士将此形容为“相称 于开着坦克去买菜”。
如今 从事区块链技能 研究的Illia Polosukhin是2017年谷歌一篇开创性论文的作者之一,该论文为当前的天生 式人工智能高潮 奠定 了底子 。Polosukhin迩来 就表现 ,单单盘算 “2+2”不应该必要 举行 无数次运算。
究竟 上,从财务 本钱 的考量来看,在天生 式人工智能技能 的回报尚不明白 的环境 下,企业和斲丧 者也不停 在探求 以更低本钱 运行AI的方法。
位于以色列特拉维夫的人工智能公司AI21 Labs的连合 首创 人Yoav Shoham称,由于只需利用 较少的算力,在很多 环境 下,小型模子 答复 题目 的本钱 仅为大型语言模子 的六分之一。假如 你要举行 数十万乃至 数百万次答复 ,利用 大模子 在经济上着实 行不通。
当前的关键在于,怎样 更有效 地将这些较小的模子 会合 在一组数据上,如内部通讯 、法律文件或贩卖 数字,以实行 撰写电子邮件等特定任务 ——这一练习 过程被称为微调(Fine-tuning)。通过微调,可以让小型模子 在实行 这些任务 时与大型语言模子 一样有效 ,而本钱 只是大型模子 的一小部分 。
初创公司Snorkel AI的连合 首创 人Alex Ratner表现 ,“让这些更小、更专业的模子 在这些更枯燥但更紧张 的范畴 工作,是如今 人工智能的前沿范畴 。”
Snorkel AI如今 的业务范围包罗 资助 企业定制人工智能模子 。
企业用户也正转向小模子 ?
在企业用户端,名誉 评级公司益百利迩来 已将其用于金融咨询和客户服务的AI谈天 呆板 人,从大语言模子 转向了小语言模子 。
益百利首席数据官Ali Khan表现 ,在公司内部数据上举行 练习 时,小型模子 的表现 与大型模子 中分 秋色 ,而本钱 仅为大型模子 的一小部分 。他表现 ,这些小模子 可以针对一个明白 的题目 范畴 和一系列任务 举行 特定练习 。
Salesforce人工智能部分 主管Clara Shih则表现 ,这些小模子 的相应 速率 相比大模子 也更快。
Shih称,“利用 大型模子 你会付出过高的本钱 而且 有耽误 题目 。偶然 间 也根本用不着。”
值得一提的是,在开始向小语言模子 变化 的同时,诸多AI巨头大型语言模子 的迭代速率 也在放缓。
自OpenAI客岁 发布GPT 4(与之前的模子 GPT 3.5相比,功能有了明显 提拔 )以来,还没有新的迭代模子 (GPT 5)发布。研究职员 以为 ,造成这种环境 的缘故起因 包罗 用于练习 的高质量新数据稀缺。
这一趋势也让人们开始更为关注小模子 。领导 Phi模子 项目标 微软公司高管塞Sébastien Bubeck表现 ,“如今 正是各人 都在等待 的一个小间歇期,这会让人们的留意 力转向,他们会想,‘好吧,我们还能不能让这些东西更高效?’”
如今 ,还不清楚 这种迭代停滞是临时 的,还是 遭遇了一个更为棘手的技能 瓶颈题目 。但是,小型语言模子 的大量涌现,仍阐明 白 人工智能正在从科幻小说般的梦幻演示,演变成 了不那么令人高兴 的贸易 实际 。
固然 ,很多 公司并没有完全放弃大型语言模子 。苹果已公布 将在其Siri助手中参加 ChatGPT,以实行 撰写电子邮件等更复杂的任务 。微软表现 ,其最新版的Windows也将集成OpenAI的最新模子 。不外 ,两家公司都只是将OpenAI集成作为其团体 人工智能方案的一部分 ,而显然并没有把全部 的筹码都押注于此。
0 评论