专题：2024中国企业将来 之星年会

　　将来 可期，万物可生

　　文|《中国企业家》记者 闫俊文

　　编辑|姚赟

　　图片泉源 |中计划 库

　　7月27日，由《中国企业家》杂志社主理 的2024（第二十四届）中国企业将来 之星年会在上海举行。在“前沿微课”环节，腾讯精良 科学家、腾讯混元大模子 技能 负责人之一刘威作主题分享。演讲中，刘威先容 了腾讯混元大模子 的盼望 以及应用环境 。

　　出色 观点如下：

　　1．我将AI的发展周期分别 为四个阶段：第一阶段是符号主义；第二阶段是毗连 主义，标记 性变乱 是2012年Hinton发明的8层卷积神经网络；第三阶段，引用一位AI科普作家的说法，称为实际 主义，即深度强化学习，标记 性变乱 是2016年DeepMind发明的AlphaGo；如今 AI进入了第四阶段，即天生 主义，标记 性变乱 是2022年末OpenAI发明的ChatGPT。

　　2．关于大模子 的技能 蹊径 不停 存在争议，即模子 尺寸是否必要 不绝 增大。然而，当有更好的模子 练习 算法技能 时，模子 是否会变得越来越小——我们的技能 正是资助 用户定制化蒸馏和微调模子 。

　　3．仅仅依靠 人类的对齐本领 ，大模子 的智能程度 很难高出 人类。对齐指的是与人类对齐，与人类的代价 观和天下 观对齐。数学和物理都是人类通过几千年的天然 观察提炼总结而成的，而AI无法自主创造这些知识，因此AI必须向人类学习这些知识。

　　以下为刘威的演讲实录（有编削 ）：

　　我们从人工智能的隆冬 一起 走到如今 ，履历 了多个时期。我在学习人工智能时，以为 当时 的技能 处于“旧石器期间 ”。厥后 ，我们历经了新石器期间 、青铜器期间 、铁器期间 和蒸汽期间 ，如今 AI技能 正处于“电力期间 ”。从旧石器期间 到电力期间 ，AI仅用了20多年就完成了革命性的迭代。

　　我将AI的发展周期分别 为四个阶段：第一阶段是符号主义；第二阶段是毗连 主义，其标记 性变乱 是2012年Hinton发明的8层卷积神经网络；第三阶段是引用一位AI科普作家的话称为实际 主义，即深度强化学习，标记 性变乱 是2016年DeepMind发明的AlphaGo；如今 AI已经进入第四阶段，即天生 主义，其标记 性变乱 是2022年末OpenAI发明的ChatGPT。

　　2023年1月，无论是国内公司还是 国外公司，都在会合 力气 ，自主研发对标ChatGPT的天生 式AI大模子 。假如 说2023年是天生 式AI发作 的元年，那么2024年显然是多模态天生 式AI发作 的元年。

　　腾讯混元的盼望

　　腾讯混元模子 体系覆盖了从底层到上层的各个层级，包罗 单专家模子 和肴杂 专家模子 （MoE），在最上层是广泛的应用。国内绝大多数模子 是单专家的，腾讯则同时在单专家和MoE模子 上都做了很多 探索。

　　在2023年9月，我们推出了小程序版本，如今 可以在微信小程序中搜刮 到“腾讯元宝”。当时 的模子 参数到达 了千亿级别，练习 数据包罗 了万亿的文本token。到2023年底，我们已经实现了万亿参数的MoE模子 。如今 ，我们仅在文本token方面的积聚 就相称 于天下 全部 图书馆的总和。我常和朋侪 们说，token是取之不尽的资源，可以将1秒钟的语音当作 一个token，也可以将10秒钟的语音当作 一个token，乃至 可以将一个像素当作 一个token。差别 标准 下的多模态token使我们的token数量 不绝 增长 ，模子 参数理论上也会越来越大。

　　我们的核心 技能 覆盖了底层、中层和高层，腾讯已经拥有了十万卡集群。英伟达四年前收购的以色列公司Mellanox支持万卡集群。中心 层的练习 框架包罗 开源的DeepSpeed和PyTorch，和腾讯自研的Angel。如今 我们不但 支持希罕 的MoE模子 盘算 ，也支持稠密模子 盘算 。我们有多种模子 版本，如Lite版本和Pro版本，收费非常自制 ，Lite版本完全免费。

　　关于我们的全栈技能 ，起首 ，万卡集群显然不能只将最高端的GPU放在一起。就像我喜好 看的武侠小说中的“天罡北斗七星阵”，多少 低端的GPU协力 能匹配一块高端GPU的算力，我们也实现了4D并行GPU盘算 。关于大模子 的技能 蹊径 不停 存在争议，即模子 尺寸是否必要 不绝 增大。然而，当有更好的模子 练习 算法技能 时，模子 是否会变得越来越小——我们的技能 正是资助 用户定制化蒸馏和微调模子 。

　　对于天生 式大模子 ，假如 不懂AI或技能 的人，大概 会以为 大模子 只是谈天 呆板 人，好像 没有更大的用处。就在这个月，OpenAI重新界说 了天生 式AI的五个条理 ，此中 L1是谈天 呆板 人，GPT-3.5已经充足 用了，如今 国表里 有很多 模子 高出 了GPT-3.5。第二个条理 是良好 的推理本领 。然而，幻觉和推理是两个抵牾 的概念，天生 式AI肯定 会有幻觉。

　　我们常常 提一个题目 ：树上有十只鸟，开枪打死了一只鹰，还剩几只鸟？大模子 大概 会答复 尚有 九只。无论是推理还是 逻辑陷阱，我们以为 应该用新技能 来办理 。总毕业 内和腾讯的原创技能 ，有两套方法：

　　起首 是通过数据加强 提拔 推理稳固 性的方法，其次是通过模子 加强 提拔 推理精准度的方法。我们有一个假设或推测，仅依靠 人类的对齐本领 AI很难高出 人类。对齐指的是与人类对齐，与人类的代价 观和天下 观对齐。数学和物理是人类通过几千年对天然 界的观察提炼总结出来的，而AI无法自主创造这些知识，以是 必要 向人类学习。同样，我们有社会性（society），包罗 人类的举动 规则和构造 规则，AI对此一无所知。

　　近来 ，OpenAI提出，他们不但 要实现AGI（通用人工智能），还要实现ASI（超等 人工智能），因此AI必须通过自我学习举行 对齐和升级。假如 一个AI无法推理，人类怎么能资助 它推理？人类可以写一个很长的提示词（Prompt），告诉它怎样 推理，但几年后，ChatBot大概 就不再有效 了。因此，AI的推理本领 必须从被动推理变为主动 推理。

　　AI从被动推理到主动 推理

　　怎样 实现主动 推理？我们提出了三个方案：

　　第一个方案是人类构造一些语料让AI学习。对于每一个逻辑推理类题目 ，除了思考 （think）还要举行 验证（verify），且渐渐 验证（step by step），即think step by step，然后verify step by step，通过数据加强 的方式使AI的推理过程更加稳固 ，从而提拔 自主推理本领 。

　　方案二和方案三是OpenAI近来 在两篇论文中提出的。方案二是品评 机制，创建一个品评 模子 对目标 模子 的答复 举行 打分评估，即自我品评 式的学习；在对目标 模子 练习 指令微调时，品评 模子 会在练习 过程中告知模子 练习 的结果 ，从而优化练习 质量。方案三运用了自博弈学习的头脑 ，这是OpenAI提出的一种全新练习 框架——Prover-Verifier Games（简称“PVG”）。业内已经在实行 这三个方案，盼望 通过这些方法提拔 AI的推理本领 ，实现AI主动 推理，而不再是被动的模仿 式推理。

　　2024年，学界工业界在探究 什么是天下 模子 ？我以为 天下 模子 至少应具备两种特质：强大 的推理本领 与模仿 本领 。大语言模子 如GPT，在Scaling Law的引导 下，压缩海量的天下 知识，渐渐 会成为一个world reasoner（天下 推理器）。扩散模子 如文生图、文生视频模子 ，也在Scaling Law的引导 下，对差别 概率分布的数据集举行 外形 变更 ，终极 会形成一个world simulator（天下 模仿 器）。我以为 天下 模子 的最佳形态是连合 world reasoner和world simulator，这将开创一个新的AI期间 。

　　软件的将来 就是天生 式AI

　　本年 5月，腾讯率先在国内开源了基于DiT框架的文生图模子 。随后，腾讯开源了一套控件工具体 系，既提供底子 模子 ，又提供直接利用 的模子 微调工具，且全部 语料均颠末 筛选，符合中文特性。该模子 对中国的本土风格非常相识 ，可以或许 很好地天生 多主体内容，如人与人、人与宠物的互动，更紧张 的是支持多轮对话天生 作图。

　　我们已经实现了文生视频、文+图生视频及多种视频天生 应用，这些应用已经用于腾讯云和腾讯广告的服务中。比如 风格化视频、活动 笔刷、人物视频天生 、画布扩展等，还能将横屏视频转换为竖屏视频。如今 ，腾讯有700多个产物 和业务接入了腾讯混元大模子 。

　　有人问腾讯为何云云 拥抱天生 式AI？我以为 软件的将来 就是天生 式AI。微信的输入法、“搜一搜”功能已经是天生 式的。腾讯文档、腾讯集会 会议 也都接入了腾讯混元大模子 ，腾讯集会 会议 小助手在会前、会中、会后都有天生 式AI功能。几个月前，我们发布了腾讯的“广告妙思”平台，提供一站式的AIGC本领 ，可以一键天生 图文广告、视频广告，涵盖多种风格、多项尺寸，适配多个行业（如游戏、电商、本地 生存 等）。

　　在天生 式AI期间 ，我想对各人 说：将来 可期，万物可生。

　　新浪声明：全部 集会 会议 实录均为现场速记整理，未经演讲者审视 ，新浪网登载此文出于转达 更多信息之目标 ，并不意味着附和 其观点或证明 其形貌 。