给公众号接入免费AI助理，让大模型给你打工
（1）大模型与智能交互
往期文章《智能交互复兴：ChatGPT +终端（奔驰/Siri）= ？》里提到大模型对现有行业的冲击，现有NLP中低层应用、复合场景将被直接“重塑”，比如 红极一时的智能对话。
《大模型时代，对话系统何去何从？》解释了让人又爱又恨的对话系统。
对话系统“爱”、“恨”交织：
爱：终极交互形态让人着迷，CUI，甚至更高级的多模态交互、脑机交互
恨：技术现实与期望鸿沟太大，智障频频。
鹤啸九天，公众号：鹤啸九天ChatGPT：从入门到入行（放弃）
曾有人断言：
只要对话系统核心技术还是意图识别+槽填充方案，就别指望有什么突破，相应的对话产品也都半斤八两。
短短几年时间，新技术来了，在大语言模型的加持下，对话系统如虎添翼。
原有pipeline架构被冲击得七零八落，高达80%的功能被简单prompt engineering（提示工程）所替代，如：知识挖掘（去重/摘要/脱敏/增强等）、NLU（意图识别+槽位抽取）、NLG（语言生成/风格化）。
GPT-4o出来后，相对独立的ASR和TTS也开始融合进来，这种强大的多模态交互能力让人眼睛一亮。
只剩下DM尚未被完全替代。
当前基于LLM的Bot开发平台用plugin+workflow方式，复现复杂交互逻辑，本质上还是沿用上一代的FSM技术（有限状态机）。
Agent模式则走得更远，无需配置交互逻辑，统一由PE设置，只是受限于LLM的黑盒不可控性，不适合需要精确控制的业务场景，如金融支付/业务流程依赖复杂的情形，容错率低。
（2）智能对话先驱
2023年上半年，大模型开始“入侵”：
车机交互：奔驰引入GPT
文档问答：各类Doc-Chat产品雨后春笋
个人助理：smartsifi/小艺/小爱，各大手机厂商纷纷把端侧LLM作为亮点打包发布。
垂类问答：支付宝发布“支小宝”，辅助做理财咨询。
详见：《智能交互复兴：ChatGPT +终端（奔驰/Siri）= ？》
2023年5月底，《如何搭建自己的ChatGPT智能问答——ChatBase介绍》里介绍了国外的知识问答系统ChatBase，借助GPT强大的语义理解能力，突破了上一代文档问答（Document QA）的瓶颈，只需上传一段文本、文件，甚至网站URL，就能低代码快速搭建一款知识问答机器人。
ChatBase虽然面向开发者，但GPT接入受限，需要付费。
2023年9月8日，蚂蚁发布了基于金融大模型能力的“支小宝2.0”与“支小助”。
to C产品“支小宝2.0”内测近半年，为用户提供高质量的行情分析、持仓诊断、资产配置和投教陪伴等专业服务，将在完成相关备案工作后上线。
to B产品“支小助”与蚂蚁平台合作机构内测共建，为理财顾问、保险代理、投研、金融营销、保险理赔等金融从业专家打造全链条的AI业务助手。
这些产品大多面向C端，只可体验，不可亵玩焉。
对于个人开发者，有没有一款免费、好用的问答助理呢？
公众号粉丝多了，难以逐个回复，解决办法：
①公众号后台配置关键词、自定义菜单，回答热门问题——人工处理，覆盖面有限，更新滞后，交互体验不太好。
②单独部署问答服务，通过api接入公众号后台——额外部署问答服务，api操作有学习成本，体验一般。
③用LLM充当问答引擎，api接入后台——国内不便接入ChatGPT，只能是国产LLM，价格已经被豆包打下来了，但这个方案依然要部署服务
2024年5月，一个豆包引发的价格战：
5月15日，字节发布豆包，价格低于同行99%
5月21日，阿里通义千问：直降97%
百度文心一言：ERNIE Speed、ERNIE Lite全面免费，即刻生效！
科大讯飞：轻量级免费，主力模型降价
这场价格战后，创业公司冰火两重天：基座模型的小公司前途渺茫，面向LLM应用的公司拍手叫好。
对于公众号博主，好事儿，不用担心调用成本了。
（3）Coze（扣子）
今年2月的文章《如何用字节Coze复现《决战拜年之巅》？》介绍了如何使用扣子快速构建一款聊天机器人，发布到豆包/Cici等平台上。
用户只需设计角色信息、对话逻辑、语言风格，以文本形式植入system prompt，就可以实现一个拜年游戏。
也可以使用多智能体（Multi-Agent）实现更加复杂的交互逻辑。
大致步骤：
①注册Coze（国内是扣子）
②创建Bot：名称、描述
③设置Bot：系统提示语、开场白、推荐语、插件、工作流（workflow）、知识库等
④调试、发布
具体操作步骤略，详见原文。
好在Coze（扣子）支持发布Bot到公众号平台，这样连api服务部署的成本也没有了！
（4）AI助理
那么，怎么快速构建自己的智能助理？
要求：
①低成本：无需部署服务、调用外部API，当然还有免费，不花钱
②便利：快速构建，无需太多学习成本
③功能多：支持常规咨询、文章查询，最好还能用ChatGPT同等功能
常见方式：单独搭建api服务，对接公众号的消息处理接口，其中api可以在特殊环境下直连OpenAI。
这种方式成本不低：服务器、api服务、OpenAI账户及费用。
（4.1）AI助理效果
借助Coze（扣子），以上需求都能实现。
直接展示效果：
进入公众号聊天窗口，提问即可体验效果
打招呼后，AI助理会以我的名义自我介绍。这个回答略啰嗦，跟真人交互有些距离。
改进：更新system prompt，植入我的画像信息，让AI助理的回答更加精简、准确。
这下就可以回答个性化问题，简洁明了，不啰嗦（符合我的个性）。
但有些格式问题，如“哪里人”的答复里包含了markdown图片格式，不适合文本展示。
试下文章查询功能。
问：对话系统文章
答：对话系统文章：https://wqw547243068.github.io/dialogue-system
公众号原生支持关键词回复，只要提问内容命中关键词，就会返回指定回复。
但这种方式太过死板，需要一字不差的精准匹配才行，体验并不好。
迁移到扣子Bot后，问题迎刃而解，大模型会根据语义自动匹配合适的关键词配置信息，加工回复。
另外，还支持文章内容问答。
问：这篇文章讲什么
答：这是一篇对话系统文章。。。。
如果有问题不在预设范围内，或反馈问题，还可以帮忙收集、存储。
当然，对话效果并不完美，测试发现，当前模型的不足：
习惯回复markdown格式（表格数据中链接总被识别成图片），prompt中强调后，仍未改进；
插件调用：时间长，失败率高
拒识较多，经常道歉
数据库功能失效。
原因可能跟system prompt、基座模型能力有关。
案例如下：
测试是否能收集用户问题、填表：失败。
查天气案例：
模糊意图（太阳出来了吗）无法识别
导航插件：地图精灵调用不稳定
B站视频搜索：
微信文章搜索：尝试3次，均以失败告终。
查新闻：调用头条新闻插件
政治问题上，豆包的回答颇为谨慎，总是拒识。
（4.2）AI助理构建方法
以上功能如何实现？
步骤总结
①Coze 上创建bot
②选择大语言模型：豆包、kimichat的moonshot
③设置知识库
文章标题
关键词回复
文章内容
④系统提示词: bot 人设、功能、限制条件等
⑤添加插件
头条搜索的search、必应搜索的bingWebSearch、搜狗搜索的sougou
⑥其它
开场白、预置问题、语音风格、聊天背景等
⑦预览调试无误后，发布到 公众号
3种类型: 服务号、订阅号、客服
⑧配置公众号：登录公众号后台，获取 开发者id(app_id), 并填入coze
注意：
一个 Bot 只能发布到一个微信订阅号
进入扣子平台（coze.cn），注册后，开始创建Bot。
设置名称、描述语（主要面向用户，非system prompt），logo支持AI生成，也可以自行上传。
显示刚创建的Bot：鹤啸九天的个人助理。
设置Bot高级信息：bot 人设、功能、限制条件等
系统提示语（system prompt）：设置AI助理的人设信息，这里可以把数值写入prompt中，也可以调用变量。提示语除了人设，还有功能描述、回复风格、注意事项等板块。
变量：便于多处使用，通过双括号形式引用
开场白：新用户欢迎语，包含文案、预置问题
用户问题建议：每次问答时，系统会生成下一轮问题建议
背景图片：调试窗口、豆包里的背景图
角色：语音播放时启用个性化音色。
插件：添加相关插件（如搜索），提升助理能力。如果是复杂流程，建议使用工作流（workflow），甚至是多智能体。
知识植入：有多种形式，文本是非结构化知识（如文章内容/书籍），表格是结构化信息（关键回复清单，支持excel格式）、照片（后台会生成描述并支持图片问答）。
数据库：用于存储结构化信息，如用户建议、未解决的问题
长期记忆：需要长期存储的信息
设置过程中可以在右侧窗口实时调试效果：
会话执行过程
推荐问题
记忆存储
数据库信息
测试无误后，点击右上角的发布按钮。扣子上的Bot支持发布到多种渠道：豆包、飞书、掘进，还有微信。
扣子支持3种模式的微信助理，这里选用订阅号，点击配置后，提示去公众号后台获取app_id，填进去即可。
另外，海外版本Cici支持的渠道更多，discord、line、slack等等，还有api和sdk。
发布后，就可以在公众号聊天页体验了。
扣子还提供Bot指标看板，监测各个渠道的Bot使用情况：日活、周活、消息数、留存、复制数等。
其它配置：
豆包模型有多种模式可以选择：精确、平衡、创意、自定义。
如果不想用豆包，也可以切换到别的模型：通义千问、MiniMax（245k）和Moonshot（窗口有8k、32k和128k）
