OpenAI 发了一个支持 ESP32 的 Realtime API SDK-德赢Vwin官网网

“昨晚 OpenAI 正式发布了 o3 模型，AI 圈一片沸腾。作为电子工程师的我挠了挠头，好像和我没什么直接的关系倒是 OpenAI 的另一个小发布，让我很感兴趣：一个可以在 Linux 和 ESP32 上使用的 Realtime API SDK。”

对，就是上面这个项目，刚发布没多久，文档都几乎没有。感兴趣的小伙伴可以自己去看一下： https://github.com/openai/openai-realtime-embedded-sdk 这个 SDK 能干嘛？

这个 SDK 主要是给嵌入式硬件设计的，目前只支持乐鑫的 ESP32s3。以下是经过验证的两个开发板：

Freenove ESP32-S3-WROOM

Sonatino - ESP32-S3 Audio Development Board

其它的 ESP32-S3 硬件理论上也能跑，只是没有经过验证。当然如果你只想玩一下，也可以不用任何硬件，直接在 Linux 上运行。

SDK 基于 OpenAI 最新的 WebRTC，可以提供低延时的语音对话服务。Altman 在发布会上演示的 AI 实时语音对话、打断等就是基于 WebRTC。感兴趣的小伙伴可以看一下 WebRTC 的介绍：

https://platform.openai.com/docs/guides/realtime-webrtc

配置完成后build一下，然后烧录到 ESP32S 的固件里即可。接下去就可以直接调用 API 了。这种方式简化了硬件调用实时语音，甚至视觉识别的方法，典型的应用有：

陪伴类的玩具

可穿戴设备

智能音箱/语音助手

国内有平替吗？

如果用不了 OpenAI，国内其实也有类似的服务，比如火山引擎的 RTC：

https://www.volcengine.com/product/veRTC

字节推出的显眼包2.0用的就是 RTC 服务：

在上周的“2024火山引擎冬季Force原动力大会”上，已经有不少硬件厂商展示了基于 RTC 的产品demo。其中有一个品牌“Haivivi”做了现场演讲，分享了他们的理念和创业经历。虽然只是一个“可以对话”的玩具，却有别于传统的智能音箱，得到了很多用户的认可。我在现场也体验了一下RTC的效果，延时在2~5秒之间，基本可以满足实时对话的要求。

字节的产品经理也提到了嵌入式的 SDK，但没有详细公布支持的硬件型号，估计还处于测试阶段。但毫无疑问，ESP肯定是合作伙伴之一。

“端插件”是什么？

专题论坛中还提到了“端”插件的概念。简单说就是把硬件的功能（比如调节音量、驱动电机等）以插件的形式注册在大模型的平台，端侧的硬件只要收集用户的输入，传输到大模型后由模型进行数据处理并根据解析的结果调用“端”插件执行硬件端的动作。

这种范式有可能降低硬件端的成本（因为端侧不再需要算力，只要做输入、输出及信息交互），并有可能降低开发的时间（可以很快添加语音识别、图像识别等功能，因为不用基于硬件开发，可以直接丢给模型处理）。这里的潜台词是：类似语音交互、图像识别的任务，大模型一定比本地的硬件做的好。当然前提是要能接受数据传输和处理的延时，另外数据安全也是需要考虑的因素之一。

结束语 人工智能技术尤其是大模型和AIGC正以前所未有的速度迅猛发展，它们的影响力已经渗透到各个行业，包括电子硬件领域。作为电子硬件工程师，我们站在技术革新的前沿，面临着前所未有的机遇与挑战。我们必须深入思考，如何将AIGC等前沿技术与硬件设计相结合，以实现创新突破。打造出更智能、更高效、更符合市场需求的产品，从而在激烈的市场竞争中占据有利地位。

注意：如果想第一时间收到 KiCad 内容推送，请点击下方的名片，按关注，再设为星标。

常用合集汇总：

和 Dr Peter 一起学 KiCad

KiCad 8 探秘合集

KiCad 使用经验分享

KiCad 设计项目（Made with KiCad）

常见问题与解决方法

KiCad 开发笔记

插件应用

发布记录

审核编辑黄宇

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表德赢Vwin官网网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。举报投诉

API

API

+关注

关注
2

文章
1499

浏览量
61954
SDK

SDK

+关注

关注
3

文章
1035

浏览量
45897
ESP32

ESP32

+关注

关注
18

文章
971

浏览量
17200
OpenAI

OpenAI

+关注

关注
9

文章
1079

浏览量
6480

【AI技术支持】ESP32无线Wi-Fi常用调试API

Wi-Fi常用调试API在使用esp32调试Wi-Fi功能时，由于场景和各种因素的影响，难免会遇到各种连接不上，Wi-Fi断连等问题。下面介绍一些API，方便新手调试Wi-Fi时更好的

发表于 10-26 08:00 •481次阅读

【AI技术<b class='flag-5'>支持</b>】<b class='flag-5'>ESP32</b>无线Wi-Fi常用调试<b class='flag-5'>API</b>

esp32上使用chatGPT做一些有意思的事情

ChatGPT获得响应，我们需要进行以下步骤：1、在OpenAI网站上注册，并在ESP32上安装必要的库。 2、在OpenAI API上创建一

发表于 10-18 10:04 •352次阅读

启明智显ESP32系列串口屏全面升级！支持乐鑫IDF最新版，兼容Arduino开发环境

启明智显的ESP32系列串口屏迎来了全面升级，SDK更新至乐鑫IDF的最新版本，并且完美兼容Arduino开发环境！

发表于 09-05 16:48 •969次阅读

esp8266和esp32区别是什么

以下是关于ESP8266和ESP32的主要区别：处理器和架构： ESP8266 ：使用一个Tensilica L106 80MHz的处理

发表于 08-19 18:16 •5223次阅读

esp32用什么软件编程

。概述 ESP32具有丰富的外设接口和灵活的编程方式，支持多种编程语言和开发环境。本文将详细介绍ESP32的编程软件，包括开发环境、编程语言、库函数、开发工具等。开发环境 2.1 Arduino IDE Arduino ID

发表于 08-19 17:24 •3401次阅读

ESP32-WROOM-32E、ESP32-WROOM-32D、ESP32-WROOM-32U 有什么区别？ESP32-WROOM-32 后缀字母代表的意思是？

相信很多人心里都有这样的疑问，今天就教大家怎么区分它们。 32D和32U是同一个芯片ESP32-D0WD的模组，主要区别的天线模式，分别是板载和IPEX外接天线。 32E是用的升级版的芯片

发表于 07-17 10:09 •9341次阅读

ESP8266 NONOS SDK V1.5.4版本的SDK，是否支持upgrade API？

ESP8266 NONOS SDK V1.5.4版本的SDK，是否支持upgrade API？打算实现fota升级。 include/

发表于 07-09 07:58

ESP32能取代STM32吗？哪个更好？

不能！首先二者不存在哪个更好的问题，因为这两个芯片使用场景各不相同，在嵌入式系统领域，ESP32和STM32都是常见的单片机系列，它们各自具有一定的优势和适用场景。本文主要探讨ESP32

发表于 07-06 08:04 •1.1w次阅读

用ESP32，做了个siri？！开源了！

工程名称：ESP32直接对话大语言模型人工智能语音助手前言用ESP32做了一个语言模型，就像一个

发表于 06-29 08:04 •328次阅读

esp32 sdcard格式化的api没有找到，为什么？

esp32 sdcard 格式化的api 没有找到，可否说明一下

发表于 06-25 07:45

请问ESP32-C3和ESP32-S2或WROOM系列是否支持单步调试？

：中文版https://docs.espressif.com/projects/esp-idf/zh_CN/latest/esp32c3/api-guides/jtag-debugging

发表于 06-21 07:32

请问esp32-c3不支持pcnt吗？

我在esp32-c3开发板上测试pcnt，编译报错找不到相关的函数，查看sdk源码发现要配置CONFIG_SOC_PCNT_SUPPORTED才会编译pcnt.c，查看examples里面的项目也说了只支持

发表于 06-18 07:27

esp32-s3蓝牙仅支持BLE 5.0吗？

1. esp32-s3蓝牙仅支持BLE 5.0吗？经典蓝牙是否支持，以及BLE 5.1 5.2 5.3是否支持 2. 如何选择1M 或2M 的phy？似乎没看到相应的

发表于 06-13 06:48

OpenAI API Key获取与充值教程：助开发者解锁GPT-4.0 API

OpenAI 的 API Key，以及如何使用这个 Key 来调用 GPT-4.0 API。第一步：获取 OpenAI

发表于 04-28 16:35 •1w次阅读

如何使用ESP32和STC51芯片制作一个小小光立方呢？

分享一个用ESP32和STC51芯片，以及0805贴片灯珠，手工焊接制作的小小光立方。

发表于 01-09 15:37 •1901次阅读