使用微型嵌入式设备实现嵌入式语音识别应用程序

描述

我们的目标：

我们使用微型嵌入式设备实现了嵌入式语音识别应用程序，该设备可以将一秒钟的语音作为输入并对语音进行分类。不同种类的声音由不同颜色的LED灯表示。该项目可用于许多现实世界的应用程序，例如 Google Assistant、Apple 的 Siri 和 Amazon Alexa 等。

机器学习模型：

为了处理原始音频数据，嵌入式设备的功能提供程序将原始音频数据转换为频谱图，频谱图是由频率信息切片组成的二维数组。二维张量的特征可以通过卷积神经网络(CNN) 完美提取。

CNN 模型在称为语音命令数据集的数据集上进行了预训练。这包括 65,000 条 30 个短词的一秒长话语，在线众包。

我们的方法：

1.输入数据收集

该组件从麦克风捕获原始音频数据。为了验证设备在不同情况下的功能，所有组成员的音频都被用作输入。

“是”和“否”特征的可视化。

2.设置TFLite解释器

在ArduinoIDE 中导入 micro_speech 库。生成C++代码并自动设置TensorFlowLite 环境。在进行测试时，解释器运行TensorFlow Lite 模型，将输入的频谱图转换为一组概率，并选择概率最高的一个作为输出。

Sketch uses145184bytes (14%) of programstorage space.Maximumis983040bytes.Global variables use76952bytes (29%) of dynamic memory, leaving185192bytesforlocal variables. Maximumis262144bytes.Device : nRF52840-QIAAVersion : Arduino Bootloader (SAM-BA extended)2.0[Arduino:IKXYZ]Address :0x0Pages :256Page Size :4096bytesTotal Size :1024KBPlanes :1Lock Regions :0Locked : noneSecurity :falseErase flashDonein0.000seconds

3. 对开发板进行编程

将开发板连接到笔记本电脑并将代码上传到 Arduino 开发板。

Write145192bytes to flash (36pages)[ ]0% (0/36pages)[= ]5% (2/36pages)[== ]8% (3/36pages)[=== ]11% (4/36pages)...[=========================== ]91% (33/36pages)[============================ ]94% (34/36pages)[============================= ]97% (35/36pages)[==============================]100% (36/36pages)Done in5.652seconds

4.测试功能

使用设备上的 LED 对不同的音频类型进行分类（绿色：是，红色：否，蓝色：未知）。如果听到命令，命令响应器会使用设备的输出功能让我们知道。然后我们用“是”和“否”测试几次，板上的灯显示它有效。由于该模型仍然有点幼稚，因此会重复多次测试以确保其运行良好。

“否”的测试用例：

'是'的测试用例：

“Don Don Don”的测试用例（预期用于“Unkown”）：