给公众号接入免费AI助理，让大模型给你打工（1）大模型与智能交互往期文章《智能交互复兴：ChatGPT +终端（奔驰/Siri）= ？》里提到大模型对现有行业的冲击，现有NLP中低层应用、复合场景将被直接“重塑”，比如 红极一时的智能对话
《大模型时代，对话系统何去何从？》解释了让人又爱又恨的对话系统

对话系统“爱”、“恨”交织：爱：终极交互形态让人着迷，CUI，甚至更高级的多模态交互、脑机交互恨：技术现实与期望鸿沟太大，“智障”频频
鹤啸九天，公众号：鹤啸九天ChatGPT：从入门到入行（放弃）曾有人断言：只要对话系统核心技术还是意图识别+槽填充方案，就别指望有什么突破，相应的对话产品也都半斤八两
短短几年时间，新技术来了，在大语言模型的加持下，对话系统如虎添翼
原有pipeline架构被冲击得七零八落，高达80%的功能被简单prompt engineering（提示工程）所替代，如：知识挖掘（去重/摘要/脱敏/增强等）、NLU（意图识别+槽位抽取）、NLG（语言生成/风格化）
GPT-4o出来后，相对独立的ASR和TTS也开始融合进来，这种强大的多模态交互能力让人眼睛一亮
只剩下DM尚未被完全替代
当前基于LLM的Bot开发平台用plugin+workflow方式，复现复杂交互逻辑，本质上还是沿用上一代的FSM技术（有限状态机）
Agent模式则走得更远，无需配置交互逻辑，统一由PE设置，只是受限于LLM的黑盒不可控性，不适合需要精确控制的业务场景，如金融支付/业务流程依赖复杂的情形，容错率低
（2）智能对话先驱2023年上半年，大模型开始“入侵”：车机交互：奔驰引入GPT文档问答：各类Doc-Chat产品雨后春笋个人助理：smartsifi/小艺/小爱，各大手机厂商纷纷把端侧LLM作为亮点打包发布
垂类问答：支付宝发布“支小宝”，辅助做理财咨询
详见：《智能交互复兴：ChatGPT +终端（奔驰/Siri）= ？》2023年5月底，《如何搭建自己的ChatGPT智能问答——ChatBase介绍》里介绍了国外的知识问答系统ChatBase，借助GPT强大的语义理解能力，突破了上一代文档问答（Document QA）的瓶颈，只需上传一段文本、文件，甚至网站URL，就能低代码快速搭建一款知识问答机器人
ChatBase虽然面向开发者，但GPT接入受限，需要付费
2023年9月8日，蚂蚁发布了基于金融大模型能力的“支小宝2.0”与“支小助”
to C产品“支小宝2.0”内测近半年，为用户提供高质量的行情分析、持仓诊断、资产配置和投教陪伴等专业服务，将在完成相关备案工作后上线
to B产品“支小助”与蚂蚁平台合作机构内测共建，为理财顾问、保险代理、投研、金融营销、保险理赔等金融从业专家打造全链条的AI业务助手
这些产品大多面向C端，只可体验，不可亵玩焉
对于个人开发者，有没有一款免费、好用的问答助理呢？公众号粉丝多了，难以逐个回复，解决办法：①公众号后台配置关键词、自定义菜单，回答热门问题——人工处理，覆盖面有限，更新滞后，交互体验不太好
②单独部署问答服务，通过api接入公众号后台——额外部署问答服务，api操作有学习成本，体验一般
③用LLM充当问答引擎，api接入后台——国内不便接入ChatGPT，只能是国产LLM，价格已经被豆包打下来了，但这个方案依然要部署服务2024年5月，一个豆包引发的价格战：5月15日，字节发布豆包，价格低于同行99%5月21日，阿里通义千问：直降97%百度文心一言：ERNIE Speed、ERNIE Lite全面免费，即刻生效
科大讯飞：轻量级免费，主力模型降价这场价格战后，创业公司冰火两重天：基座模型的小公司前途渺茫，面向LLM应用的公司拍手叫好
对于公众号博主，好事儿，不用担心调用成本了
（3）Coze（扣子）今年2月的文章《如何用字节Coze复现《决战拜年之巅》？》介绍了如何使用扣子快速构建一款聊天机器人，发布到豆包/Cici等平台上
用户只需设计角色信息、对话逻辑、语言风格，以文本形式植入system prompt，就可以实现一个拜年游戏
也可以使用多智能体（Multi-Agent）实现更加复杂的交互逻辑
大致步骤：①注册Coze（国内是扣子）②创建Bot：名称、描述③设置Bot：系统提示语、开场白、推荐语、插件、工作流（workflow）、知识库等④调试、发布具体操作步骤略，详见原文
好在Coze（扣子）支持发布Bot到公众号平台，这样连api服务部署的成本也没有了
（4）AI助理那么，怎么快速构建自己的智能助理？要求：①低成本：无需部署服务、调用外部API，当然还有免费，不花钱②便利：快速构建，无需太多学习成本③功能多：支持常规咨询、文章查询，最好还能用ChatGPT同等功能常见方式：单独搭建api服务，对接公众号的消息处理接口，其中api可以在特殊环境下直连OpenAI
这种方式成本不低：服务器、api服务、OpenAI账户及费用
（4.1）AI助理效果借助Coze（扣子），以上需求都能实现
直接展示效果：进入公众号聊天窗口，提问即可体验效果打招呼后，AI助理会以我的名义自我介绍
这个回答略啰嗦，跟真人交互有些距离
改进：更新system prompt，植入我的画像信息，让AI助理的回答更加精简、准确
这下就可以回答个性化问题，简洁明了，不啰嗦（符合我的个性）
但有些格式问题，如“哪里人”的答复里包含了markdown图片格式，不适合文本展示
试下文章查询功能
问：对话系统文章答：对话系统文章：https://wqw547243068.github.io/dialogue-system公众号原生支持关键词回复，只要提问内容命中关键词，就会返回指定回复
但这种方式太过死板，需要一字不差的精准匹配才行，体验并不好
迁移到扣子Bot后，问题迎刃而解，大模型会根据语义自动匹配合适的关键词配置信息，加工回复
另外，还支持文章内容问答
问：这篇文章讲什么答：这是一篇对话系统文章



如果有问题不在预设范围内，或反馈问题，还可以帮忙收集、存储
当然，对话效果并不完美，测试发现，当前模型的不足：习惯回复markdown格式（表格数据中链接总被识别成图片），prompt中强调后，仍未改进；插件调用：时间长，失败率高拒识较多，经常道歉数据库功能失效
原因可能跟system prompt、基座模型能力有关
案例如下：测试是否能收集用户问题、填表：失败
查天气案例：模糊意图（太阳出来了吗）无法识别导航插件：地图精灵调用不稳定B站视频搜索：微信文章搜索：尝试3次，均以失败告终
查新闻：调用头条新闻插件政治问题上，豆包的回答颇为谨慎，总是拒识
（4.2）AI助理构建方法以上功能如何实现？步骤总结①Coze 上创建bot②选择大语言模型：豆包、kimichat的moonshot③设置知识库文章标题关键词回复文章内容④系统提示词: bot 人设、功能、限制条件等⑤添加插件头条搜索的search、必应搜索的bingWebSearch、搜狗搜索的sougou⑥其它开场白、预置问题、语音风格、聊天背景等⑦预览调试无误后，发布到 公众号3种类型: 服务号、订阅号、客服⑧配置公众号：登录公众号后台，获取 开发者id(app_id), 并填入coze注意：一个 Bot 只能发布到一个微信订阅号进入扣子平台（coze.cn），注册后，开始创建Bot
设置名称、描述语（主要面向用户，非system prompt），logo支持AI生成，也可以自行上传
显示刚创建的Bot：鹤啸九天的个人助理
设置Bot高级信息：bot 人设、功能、限制条件等系统提示语（system prompt）：设置AI助理的人设信息，这里可以把数值写入prompt中，也可以调用变量
提示语除了人设，还有功能描述、回复风格、注意事项等板块
变量：便于多处使用，通过双括号形式引用开场白：新用户欢迎语，包含文案、预置问题用户问题建议：每次问答时，系统会生成下一轮问题建议背景图片：调试窗口、豆包里的背景图角色：语音播放时启用个性化音色
插件：添加相关插件（如搜索），提升助理能力
如果是复杂流程，建议使用工作流（workflow），甚至是多智能体
知识植入：有多种形式，文本是非结构化知识（如文章内容/书籍），表格是结构化信息（关键回复清单，支持excel格式）、照片（后台会生成描述并支持图片问答）
数据库：用于存储结构化信息，如用户建议、未解决的问题长期记忆：需要长期存储的信息设置过程中可以在右侧窗口实时调试效果：会话执行过程推荐问题记忆存储数据库信息测试无误后，点击右上角的发布按钮
扣子上的Bot支持发布到多种渠道：豆包、飞书、掘进，还有微信
扣子支持3种模式的微信助理，这里选用订阅号，点击配置后，提示去公众号后台获取app_id，填进去即可
另外，海外版本Cici支持的渠道更多，discord、line、slack等等，还有api和sdk
发布后，就可以在公众号聊天页体验了
扣子还提供Bot指标看板，监测各个渠道的Bot使用情况：日活、周活、消息数、留存、复制数等
其它配置：豆包模型有多种模式可以选择：精确、平衡、创意、自定义
如果不想用豆包，也可以切换到别的模型：通义千问、MiniMax（245k）和Moonshot（窗口有8k、32k和128k）

（图片来源网络，侵删）