前段时间参加完火山开发者见面会，官方给送了个 AI 硬件，回家后，我就特别想玩。
并在介绍字节新出的MCP应用DeepSearch 这篇文章中放出狠话，说要针对 AI 硬件单独出一篇文章。
但却被工作一直耽搁着，这几天，终于有时间可以倒腾了。
一开始，我把 AI 硬件想的过于简单，配个大模型，通个电，就直接可以开始对话了。
事实证明，这是我单纯的狗屁想法?。
纯手搓（包含设备端烧录和服务端搭建）一个 AI 硬件，可没这么简单。
PS：这当然是针对于我这种没有任何硬件基础的秘制祖传小白来说。
过程是痛苦的，结果却是快乐的，放个视频，大家先感受下。
整个对话的自然和丝滑，就仿佛是在和真人聊天一样。这么一个小玩意，我直接拿着他充当我五一出行小助手，随着携带不要太方便。
而且，服务端代码直接运行在我本地，设备的配置我也可以随时调整并烧录，真正做到高度定制化。
这个 AI 硬件也足够的轻量小巧，随便放在什么玩具、家居等设备中，丝毫没有任何负担。（所以我直接做成了旅行小装置，随身携带，充当我的导游）
此时此刻，或许你脑子里蹦出了不少创业想法吧。我是感觉自己随身带了个药老?
废话不多说，下面我将带你沉浸式感受下我的手搓开发 AI 硬件之旅。
全文一共 10746 字，23 张图，不信你滑到底，看看要花多久?
这里放个小彩蛋，如果本文赞赞超过 100，下一篇，将安排 AI 硬件接入智能体，MCP 教程，体验硬件带来的更实际应用场景化落地。
在此之前，有必要感谢一下字节大佬们的帮助，以及袋鼠帝、云中江树两位大佬的经验传授，谢谢啦＼（＾ ＾）／
我手画了一个搭建流程，大家可以先看看：
以下教程是在官方示例教程的基础上，结合自己踩过的坑做的沉浸式教程。不多 BB，开整。
AI 硬件介绍先熟悉下这个新的 AI 硬件产品吧。
字节的这个 AI 硬件是火山引擎 RTC 与嵌入式芯片厂商合作内置一站式解决方案，通过在芯片侧集成先进的音频处理（包括自动唤醒功能、音频 3A 等）。
在云侧深度整合大模型、语音识别、语音合成、 Function calling、知识库等技术，快速实现用户与硬件之间流畅、自然、真人感觉的实时通话功能，在智能玩具、智能家居、智能穿戴设备、智能教育设备、AI 机器人等领域赋予硬件全新的使用体验。
这是一张来自官方的流程图：
要想完整跑通，我认为必不可少的几大条件：
1、开通对应的火山引擎服务，包括实时音视频、语音合成、语音识别等服务。
2、服务端启动，并可完全访问
3、设备端参数配置，并正常编译。
这是我理解的一个简单的转换过程。
一次对话，完成了端到云的全套流程，说实话，能做到如此响应速度，还是相当厉害的。
下面开始进入踩坑环节（哦不，是沉浸式体验环节）
大模型开通为了保证以下的操作都能正常跑通，官方是提供了一个无代码跑通实时对话式 AI Demo 的，按照要求填入响应参数。
这个是在刚才获取 RTC_APP_ID 的那个页面首页能找到，角色权限开通：
只有确保在平台上都能正常对话了，才能继续下一步，不然会各种权限的问题。
运行服务端服务端是真实和大模型交互的口子，可以本地部署，也可以远程服务器部署，这里苍何用的是阿里云服务器部署的方式。
记得开启服务端防火墙端口。
硬件要求
PC 服务器 (Linux 建议使用 ubuntu 18.04 及以上版本)，我服务器版本如下：
服务器现在压力还是很大的，同时运行了太多的服务?
安装服务依赖
前期安装 Python 环境和 pip。
pip install requests
如果没有 pip 也可以运行命令：
python3 -m pip install requests
下载并配置工程
这里官方提供了服务端详细的示例 Demo，我们这次运行的也是基于官方的 Demo，做了一些改动。
1、克隆实时对话式 AI 硬件 Demo 示例
git clone https://github.com/volcengine/rtc-aigc-embedded-demo.git
2、进入服务端 Demo 目录
cd rtc-aigc-embedded-demo/server/src
3、更改设备配置文件
进入服务端配置文件 rtc-aigc-embedded-demo/server/src/RtcAigcConfig. py，设置如下参数：
# 鉴权 AK/SK。前往 https://console.volcengine.com/iam/keymanage 获取
AK = "yzitS6Kx0x*****fo08eYmYMhuTu"
SK = "xZN65nz0CFZ******lWcAGsQPqmk"
# 实时音视频 App ID。前往 https://console.volcengine.com/rtc/listRTC 获取或创建
RTC_APP_ID = "678e1574*****b9389357"
# 实时音视频 APP KEY。前往 https://console.volcengine.com/rtc/listRTC 获取
RTC_APP_KEY = "dc7f8939d23*******bacf4a329"
# 大模型推理接入点 EndPointId 前往 https://console.volcengine.com/ark/region:ark+cn-beijing/endpoint?config=%7B%7D 创建
DEFAULT_BOT_ID = "ep-202******36-plsp5"
# 音频生成大模型-语音合成大模型 Voice_type，前往 https://console.volcengine.com/speech/service/8 获取
DEFAULT_VOICE_ID = "BV05******aming"
# 语音识别-流式语音识别 APPID 前往 https://console.volcengine.com/speech/service/16 获取
ASR_APP_ID = "274****256"
# 音频生成-语音合成 APPID，前往 https://console.volcengine.com/speech/service/8 获取
TTS_APP_ID = "274****256"
# 服务端监听端口号,你可以根据实际业务需求设置端口号
PORT = 8080去对应的开通相关服务即可。
这里注意最新的硬件要使用大模型，而不是原先的语音合成服务。这里踩了很大的坑，分别把容易搞错的几个参数截图说明一下吧。
主要容易搞混的，第一个是 DEFAULT_VOICE_ID，这里要选择语音合成大模型的音色。
4、需要更改一下 RtcAigcService. py 文件，现在官方的 demo 还没更新，你可以用我的这个代码，只需要调整 161 行代码的值为自己的 token。
直接后台回复：硬件，获取代码。
token 的话就是在刚才的页面复制语音合成大模型下面的 token 即可。
运行服务
python3 RtcAigcService.py
这里以 Mac 系统为例。
硬件要求
乐鑫 ESP 32-S 3-Korvo-2 或者 AtomS 3 R 开发板。
USB 数据线（两条 A 转 Micro-B 数据线，一条作为电源线，一条作为串口线）。(AtomS 3 R 开发板需要 Typc-C 数据线)
PC（Windows、Linux 或者 macOS）。
设别环境配置
1、安装 CMake 和 Ninja 编译工具
brew install cmake ninja dfu-util
如果没有 brew 的可以用中科大的镜像来安装：
/bin/zsh -c "$(curl -fsSL https://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh)"
2、将乐鑫 ADF 框架克隆到本地，并同步各子仓（submodule）代码
a、clone 乐鑫 ADF 框架
git clone https://github.com/espressif/esp-adf.git // cloneADF框架
b、进入 esp-adf 目录
cd esp-adf
c、切换到乐鑫 ADF 指定版本
git reset --hard 0d76650198ca96546c40d10a7ce8963bacdf820b
d、同步各子仓代码
git submodule update --init --recursive
这一步会很耗时，也不知道是我电脑卡，还是咋啦，花了快 20 分钟了。
总之，很慢，很慢。（也可能是我网速慢）
3、安装乐鑫 esp 32 s 3 开发环境相关依赖
./install.sh esp32s3
这个的过程也相当的慢。
不知道是不是我的网速问题，总之会持续一段时间。
成功安装所有依赖后，命令行会出现如下提示：
All done! You can now run: . ./export.sh
经历了大概 20 分钟，才搞好吧。
对于 macOS 用户，如在上述任何步骤中遇到以下错误:
<urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl. c:xxx)
可前往访达->应用程序->Python 文件夹，点击 Install Certificates. command 安装证书。
4、设置环境变量。
每次打开命令行窗口均需要运行该命令进行设置
. ./export.sh
下载并配置工程
1、将实时对话式 AI 硬件示例工程 clone 到乐鑫 ADF examples 目录下
进入 esp-adf/examples 目录
cd $ADF_PATH/examples
clone 实时对话式 AI 硬件示例工程
git clone https://github.com/volcengine/rtc-aigc-embedded-demo.git
2、打开设备端配置文件 rtc-aigc-embedded-demo/client/espressif/esp 32 s 3_demo/main/Config. h，设置如下参数
就是刚才下载的那个仓库
// 你的服务端地址:监听端口号#define DEFAULT_SERVER_HOST "127.0.0.1:8080"// 服务端设置的大模型 EndPointId#define DEFAULT_BOT_ID "ep-20240729********"// 服务端设置的音频生成-语音合成 Voice_type#define DEFAULT_VOICE_ID "zh_female_*******"// 服务端设置的实时音视频 APPID#define DEFAULT_RTC_APP_ID "5c833ef********"
3、禁用乐鑫工程中的火山组件
进入 esp-adf 目录
cd $ADF_PATH
禁用乐鑫工程中的火山组件
git apply $ADF_PATH/examples/rtc-aigc-embedded-demo/0001-fix-disable-volc-engine-in-esp.patch
$ADF_PATH 替换成自己的实际安装路径，比如我这里是：/Users/canghe/responsibility/study/esp-adf
那么命令应该是：
git apply /Users/canghe/responsibility/study/esp-adf/examples/rtc-aigc-embedded-demo/0001-fix-disable-volc-engine-in-esp.patch
更新 AtomS 3 R 开发板补丁
git apply $ADF_PATH/c/0001-add-atoms3r-board.patch
编译固件
1、进入 esp-adf/c 目录下编译固件
进入 esp 32 s 3_demo 目录：
cd $ADF_PATH
设置编译目标平台：
idf.py set-target esp32s3
有点坑，没找到，这个文件.
原来是没运行设置环境变量：
. ./export.sh
设置 WIFI 账号密码
idf.py menuconfig
进入 Example Connection Configuration 菜单，在 WiFi SSID 及 WiFi Password 中填入你的 WIFI 账号和密码，保存并退出配置菜单。
报错了：
运行目录不对，这是因为我切换到根目录去了，要切换回刚刚的目录，执行。
找到他：
输入 wifi 账号和密码:
按 S 保存，Q 退出。
设置开发版型号：
idf.py menuconfig
进入 Audio HAL 菜单，在 Audio board 中选择你的开发板型号。(例如: 方舟开发板选择 M 5 STACK-ATOMS 3 R) 保存并退出配置菜单
这里如果报错 flash 的话，需要调整这个值的大小
编译固件
idf.py build
这样就好了。
这一步相当于要将客户端的代码直接传到设备里面去，包括设备需要链接到哪个服务啊，默认音色这些都配置好了。
打开乐鑫开发板电源开关
烧录固件
idf.py flash
等他烧录吧：
运行示例 Demo 并查看串口日志输出
idf.py monitor
在第一次烧录后，后面所有需要修改配置的地方，都要重新烧录，就可以走重新烧录流程了。（建议自己做成一个备忘，下次直接复制就好了）
配置环境变量
. ./export.sh
进入到 demo 目录：（换成自己的）
cd /Users/canghe/responsibility/study/esp-adf/examples/rtc-aigc-embedded-demo/client/espressif/esp32s3_demo
禁用乐新的火山组件：
git apply /Users/canghe/responsibility/study/esp-adf/examples/rtc-aigc-embedded-demo/0001-fix-disable-volc-engine-in-esp.patch
更新 AtomS 3 R 开发板补丁
git apply /Users/canghe/responsibility/study/esp-adf/examples/rtc-aigc-embedded-demo/0001-add-atoms3r-board.patch
设置编译目标平台
idf.py set-target esp32s3
设置 WIFI 账号密码：
idf.py menuconfig
进入 Example Connection Configuration 菜单，在 WiFi SSID 及 WiFi Password 中填入你的 WIFI 账号和密码，保存并退出配置菜单。
设置默认 flash，改为 8 M
设置开发版型号
idf.py menuconfig
进入 Audio HAL 菜单，在 Audio board 中选择你的开发板型号。(例如: 方舟开发板选择 M 5 STACK-ATOMS 3 R) 保存并退出配置菜单
编译固件：
idf.py clean
idf.py build
烧录固件
idf.py flash
运行示例 Demo 并查看串口日志输出
idf.py monitor
通过上面的所有操作，在 flash 烧录后，就能听到欢迎语了。
如果无法继续，只需要按住硬件的开关按钮即可。
烧录完成后，数据线可以不插到电脑上，也可以插到充电宝，只需要有个地方上电即可。
如果开了串口监控，需在电脑上，可以看到，每一次对话都要监控输出。
在服务端也会实时展示请求。
理论上，只要将设备连上手机 wifi，烧录好后，随身携带，没有任何问题。
