德赢Vwin官网
App
发帖 
提问 
发资料
发视频资料介绍
描述
盲人和视障人士经常遇到各种社会经济挑战，这些挑战可能会阻碍他们独立生活和充分参与社会的能力。然而，机器学习的出现为辅助技术的发展开辟了新的可能性。在这项研究中，我们利用图像字幕和文本转语音技术创建了一种设备，可以帮助视力受损或失明的人。图像字幕与文字转语音技术相结合，可以为视障人士和盲人提供帮助。
此外，我想分享我使用TensorRT优化深度学习模型以缩短其推理时间的经验。有关详细信息，请参阅 TechRxiv 上的预印本，标题为：适用于视障人士和盲人的图像字幕：低资源语言的秘诀。
为简单起见，我们假设一切都已安装。
随着单板计算机 (SBC) 越来越流行用于运行 AI 和深度学习项目，有些甚至专门设计用于运行 AI 和深度学习项目。我们使用来自SeeedStudio (@seeedstudio)的 reComputer NVIDIA Jetson Xavier NX作为我们系统的大脑。reComputer J20 配备 Jetson Xavier NX，可提供高达 21 TOPS 的性能，使其成为嵌入式和边缘系统中高性能计算和 AI 的理想选择。
NVIDIA Jetson 设备紧凑且节能，能够实时执行机器学习算法。然而，在这些内存有限的设备上部署复杂的深度学习模型可能很困难。为了克服这个问题，我们使用了TensorRT等推理优化工具，它使我们能够通过减少内存占用来在边缘设备上执行深度学习模型。
图像描述模型部署管道
我们使用流行的 Microsoft COCO 2014 (COCO) 基准数据集来训练ExpansionNet v2图像描述模型。该数据集由 123, 287 张图像组成，每张图像都有五个人工注释的说明，总共有超过 600, 000 个图像-文本对。我们将数据集拆分为训练（113、287 张图像）、验证（5、000 张图像）和测试（5、000 张图像）集，使用Karpathy拆分策略进行离线评估。为了生成哈萨克语的字幕，我们使用免费提供的谷歌翻译服务翻译了原始的英文字幕。
为了训练哈萨克语字幕的模型，我们遵循了ExpansioNet v2的原始工作中定义的模型架构。预训练的 Swin Transformer 被用作骨干网络，从输入图像生成视觉特征。该模型在Nvidia DGX-2 服务器的四个 V100 图形处理单元 (GPU) 上进行训练。
最后，图像字幕模型 ExpansionNet v2 部署在 Nvidia Jetson Xavier NX 板上。按下按钮触发相机捕捉分辨率为 640 × 480 像素的 RGB 图像。然后，将捕获的图像调整为 384 × 384 并传递给 ExpansionNet v2 模型以生成说明。接下来，使用文本到语音模型将生成的字幕文本转换为音频。在我们的研究中，我们利用KazakhTTS模型将哈萨克文本转换为语音。最后，生成的音频通过用户的耳机播放，使盲人或视障人士能够理解他们面前的内容。
ONNX 概述
ONNX 是一种用于机器学习和深度学习模型的开放格式。它允许您将来自不同框架（例如 TensorFlow、PyTorch、MATLAB、Caffe 和 Keras）的深度学习和机器学习模型转换为单一格式。
该工作流程包括以下步骤：
- 将常规 PyTorch 模型文件转换为 ONNX 格式。ONNX 转换脚本可在此处获得。
- 使用 trtexec 实用程序创建 TensorRT 引擎
trtexec --onnx=./model.onnx --saveEngine=./model_fp32.engine --workspace=200
- 从 TensorRT 引擎运行推理。
使用 TensorRT 进行推理优化
TensorRT 是 NVIDIA 开发的高性能深度学习推理引擎。它优化神经网络模型并生成可在 NVIDIA GPU 上运行的高度优化的推理引擎。TensorRT 使用静态和动态优化的组合来实现高性能，包括层融合、内核自动调整和精度校准。
另一方面，PyTorch 是一种流行的深度学习框架，广泛用于研究和开发。PyTorch 提供了一个动态计算图，允许用户动态定义和修改他们的模型，这使得尝试不同的架构和训练方法变得容易。
与 PyTorch 模型相比，TensorRT 模型似乎提供了更快的推理结果。与 PyTorch 模型相比，TensorRT 模型处理图像的时间减少了大约 50%，尽管它的文件大小更小。
简而言之，如果速度和效率是您的首要关注点，那么 TensorRT 可能是更好的选择。这对于大多数实时对象检测应用来说已经足够快了。
在推理过程中，您可以使用jetson-stats实用程序检查 Nvidia Jetson 板的当前性能。您可以实时监控模型正在使用的资源，并最大限度地利用硬件。
以佩戴图像字幕辅助设备的人类为对象的真实世界实验
该图说明了我们的图像字幕辅助系统的真实世界实验，该系统包括一个摄像头、一个单板深度学习计算机（Nvidia Jetson Xavier NX）、一个按钮和耳机。
摄像头通过通用串行总线（USB）连接到单板机，按钮和耳机分别连接到单板机的通用输入/输出（GPIO）引脚和音频端口. 摄像头使用可调节的带子固定在用户的额头上，而用户则将单板计算机（和移动电源）放在背包中，并在操作过程中佩戴耳机。
结论和进一步改进
视障人士和盲人在日常生活中面临着独特的挑战，包括无法独立获取视觉信息。图像字幕技术已显示出为该社区提供帮助的希望。
除了现有的图像字幕和文本转语音技术外，我们的目标是将视觉问答 (VQA) 功能整合到我们为视障人士和盲人提供的辅助设备中。这将使用户能够提出有关图像的问题并获得口头答复。
为了进一步优化我们的深度学习模型并提高其性能，我们将执行从 FP32 到 FP16 或 INT8 的量化。这将减少推理所需的内存占用和计算时间，使我们的辅助设备更加高效。
如果您对我们的项目感兴趣，请考虑为我们在github上的存储库加星。多谢！
我希望您发现这项研究有用，并感谢您阅读它。如果您有任何问题或反馈，请在下方发表评论。敬请关注！
致谢
- 该项目得到了智能系统与人工智能研究所工作人员的支持、指导和协助，得以顺利完成。
- Image captioning 模型的实现依赖于ExpansioNet v2。
- 视障人士智能手杖开源硬件
- 基于超声波传感器的盲人智能眼镜 0次下载
- 基于超声波传感器的视障人士夹克 0次下载
- 为听障人士设计的智能房间控制器
- 为视障人士设计的支持Arduino的PCB设备
- 带有显示时间的自动车码表避障程序下载 0次下载
- 用于视障人士的集成无线室内导航系统 16次下载
- 如何设计面向视障人士的RFID和GPS组合导航系统智能机器人 5次下载
- 使用Arduino设计的智能小车自动避障的接线说明 18次下载
- 使用AudioGuid系统和GPS接收器设计视障人士户外行走辅助系统的研究 3次下载
- 设计双目视觉移动机器人的路径规划和避障系统的研究说明 3次下载
- 智能小车进行避障的详细资料说明如何让小车看到障碍物 33次下载
- 图像处理教程之图像复原的详细资料说明 7次下载
- 图像处理教程之图像运算的详细资料说明 12次下载
- 一个基于语音识别的盲人上网辅助系统的设计
- 技术指南丨深视智能3D相机上下对射测厚操作流程 170次阅读
- 全对称多面镜单视点折反射周视系统概述 755次阅读
- Lesson38 图像传感器介绍与设计架构 518次阅读
- 使用倾斜传感器为视障人士设计水平仪 921次阅读
- 基于单片机和GS-89m-J定位模块实现智能拐杖系统的设计 2424次阅读
- Linux服务器排障相关的性能问题、优化和便利工具 1662次阅读
- 可以实现宽动态及LED闪烁抑制的汽车图像传感器OX01D10的说明 1190次阅读
- 最基础的图像处理常用算法 3156次阅读
- 机器人视觉避障的常用传感器介绍和原理说明 1.3w次阅读
- 如何解决机器人“避障”的问题 4442次阅读
- VizWiz数据集：用计算机视觉回答盲人的问题 7079次阅读
- ISP图像处理芯片 1.9w次阅读
- 图像分割算法有哪些 3w次阅读
- 超声波传感器在智能小车避障系统中的应用 1.3w次阅读
- 什么是无人机避障技术 在消费级无人机领域为什么火不了？ 3146次阅读
上传资料赚积分下载排行
本周
- 1山景DSP芯片AP8248A2数据手册
- 1.06 MB | 532次下载 | 免费
- 2RK3399完整板原理图（支持平板，盒子VR）
- 3.28 MB | 339次下载 | 免费
- 3TC358743XBG评估板参考手册
- 1.36 MB | 330次下载 | 免费
- 4DFM软件使用教程
- 0.84 MB | 295次下载 | 免费
- 5元宇宙深度解析—未来的未来-风口还是泡沫
- 6.40 MB | 227次下载 | 免费
- 6迪文DGUS开发指南
- 31.67 MB | 194次下载 | 免费
- 7元宇宙底层硬件系列报告
- 13.42 MB | 182次下载 | 免费
- 8FP5207XR-G1中文应用手册
- 1.09 MB | 178次下载 | 免费
本月
- 1OrCAD10.5下载OrCAD10.5中文版软件
- 0.00 MB | 234315次下载 | 免费
- 2555集成电路应用800例(新编版)
- 0.00 MB | 33566次下载 | 免费
- 3接口电路图大全
- 未知 | 30323次下载 | 免费
- 4开关电源设计实例指南
- 未知 | 21549次下载 | 免费
- 5电气工程师手册免费下载(新编第二版pdf电子书)
- 0.00 MB | 15349次下载 | 免费
- 6数字电路基础pdf(下载)
- 未知 | 13750次下载 | 免费
- 7电子制作实例集锦 下载
- 未知 | 8113次下载 | 免费
- 8《LED驱动电路设计》 温德尔著
- 0.00 MB | 6656次下载 | 免费
总榜
- 1matlab软件下载入口
- 未知 | 935054次下载 | 免费
- 2protel99se软件下载(可英文版转中文版)
- 78.1 MB | 537798次下载 | 免费
- 3MATLAB 7.1 下载 (含软件介绍)
- 未知 | 420027次下载 | 免费
- 4OrCAD10.5下载OrCAD10.5中文版软件
- 0.00 MB | 234315次下载 | 免费
- 5Altium DXP2002下载入口
- 未知 | 233046次下载 | 免费
- 6电路仿真软件multisim 10.0免费下载
- 340992 | 191187次下载 | 免费
- 7十天学会AVR单片机与C语言视频教程 下载
- 158M | 183279次下载 | 免费
- 8proe5.0野火版下载(中文版免费下载)
- 未知 | 138040次下载 | 免费
工商网监
评论