请问如何利用单片机esp32s2实现win10的副屏？

681 单片机嵌入式硬件

问答对人有帮助，内容完整，我也想知道答案 0 请问如何利用单片机esp32s2实现win10的副屏？ 0
2022-2-22 07:29:31　　评论淘帖0 邀请回答您可以邀请以下用户，快速回答问题 × heks 该类别下有 20 个回答。邀请回答新星之火12138 该类别下有 18 个回答。邀请回答 wang21cj 该类别下有 17 个回答。邀请回答 hgimtk 该类别下有 16 个回答。邀请回答科源机电该类别下有 15 个回答。邀请回答 liutiefu 该类别下有 15 个回答。邀请回答 kghfh 该类别下有 14 个回答。邀请回答 chm5 该类别下有 13 个回答。邀请回答 dgfdf 该类别下有 13 个回答。邀请回答 723662364d 该类别下有 13 个回答。邀请回答一巷清苑该类别下有 13 个回答。邀请回答 ggfvxv 该类别下有 12 个回答。邀请回答 YOYOOO 该类别下有 12 个回答。邀请回答 h1654155275.6473 该类别下有 12 个回答。邀请回答 hjhdf 该类别下有 12 个回答。邀请回答 efwedfd 该类别下有 12 个回答。邀请回答小华同学该类别下有 12 个回答。邀请回答 jsqueh 该类别下有 12 个回答。邀请回答红旧衫该类别下有 12 个回答。邀请回答早知该类别下有 12 个回答。邀请回答举报 carey123 相关推荐 • 请问一下esp32通过BLE连不上win10是什么问题？ 234 • esp32通过ble连接win10是什么问题？ 257 • 为什么无法编程ESP32S2？ 272 • ESP32S2添加IOT组件的配置出错的原因？如何解决？ 284 • esp32通过ble连接win10，为什么连接不上? 289 • 如何编译esp32s2的micropython固件？ 942 • 请问esp32s2如何输出时钟信号？ 220 • 可以同时使用ESP32S2 USB的host和dev功能吗？ 152 • esp32s2 AP模式UDP组网问题求解 264 • ESP32S2 I2S DMA方式刷屏会花屏，ESP32S2 USB数据量大会影响外设？如何解决？ 296 1个回答

概要

单片机esp32s2+SPI屏实现一个win10 USB接口显示器。

目前FPS在~13FPS,纯黑屏幕时能摸到20FPS。

主机使用IDD显示驱动方案，将屏幕进行JPEG压缩，然后通过URB（USB请求包）发送到下位机。下位机解压并发DMA传输写屏达到高性能。下位机esp32s2只支持全速度12Mhz,所以必须高压缩的JPEG才能有高FPS.

为了获得较稳定的FPS，采用了动态码率策略，会依据图像情况，进行压缩率调整。

器件清单

以下链接与卖家只是我买的地方，仅作参考，只是型号是一样的，东西是同一种，有门道能找到更便宜的卖家最好。

像ESP-12H-Kit单独买模块小板就只要10块，适合自己做PCB板。

最近也支持了st7789这种屏。

	名称	数量	参考图	参考链接	说明
1	ESP-12H-Kit/开发板	1个		3.0哈RJViXrMySIx！ https://m.tb.cn/h.fW0rvEj?sm=7e7b4b NodeMCU系列WiFi模块ESP32-S2F芯片 ESP-12H-Kit/开发板
2	2.4寸4线SPI串口TFT液晶显示屏模块 ILI9341驱动LCD触摸屏240*320	1个		7.0！vC8RXro0LDp嘻 https://m.tb.cn/h.fW0F9GF?sm=557ab4 2.4寸4线SPI串口TFT液晶显示屏模块 ILI9341驱动LCD触摸屏240*320	1.不用买触摸，软件目前不支持触摸功能。用mouse更方便。 2. 其它类型的320*240屏也可以,比如st7789。不过软件目前只有9341驱动，将来会加上更多的屏。主要是合别人的代码。
3	MICRO USB转Dip 母座	1个		2信8fXpXroYDr0， https://m.tb.cn/h.fW0wxi2?sm=c95448 MICRO USB转Dip 母座B型麦克5p 贴片转直插转接板已焊接母头
4	2.54mm杜邦线	12根		自备
5	Micro USB线	1根		自备

整机组装图

这个是组双屏的效果，通常一个屏就好了。

3.硬件连接图

4 .安装说明

4.1 ESP32-S2固件更新

使用下载工具更新固件。第一次应该要更新所有的文件，包括bootloader.bin,partion-table.bin

4.2 windows驱动安装

因为目前没有给驱动签名，所以要关掉windows对驱动的检查，使用测试模式。

如果相对比较稳定后，看要不要弄个签名，淘宝上卖家签名一次要300！

4.2.1 启用测试模式

使用管理员身份打开命令行cmd

bcdedit /set testsigning on

重启系统，桌面右下角会有一个测试模式的水印。如下图。

如果要关掉，使用bcdedit /set testsigning off　然后重启即可。

4.2.2　安装驱动

1.　插入已经更新好esp32s2设备，这一步应该的固件。会被windows识别为未知设备，如下图。我们的USB设备号为：USBVID_303A&PID_1986

2.　复制驱动文件到桌面，或者其它地方。

右键设备，选择浏览查找

找到驱动文件夹

选择始终安装此驱动，因为没有正式签名。系统给出警告。

安装完毕，会在显示适配器下面出现xfz1986_u***_graphic(demo).　正常就能看到windows桌面了。

本驱动目前只支持２种分辨率320*240，640*480.对于640会进行2:1缩放。

有兴趣的可以自己魔改，增加更多的设置，和更大的屏幕。

固件与驱动编译

4.1 esp32s2 设备固件编译

Esp-idf版本：v4.3-beta3

4.1.1. esp32s2_u***disp 复制到esp-idf目录下

本身就是一个esp-idf工程

4.1.2 更新tinyu***

Tinyu***.tgz 解压合并放入esp-idf/components/tinyu***。图省事没有生成patch.大家可以用比较工具比较差异，改动并不大，主要是增加 vendor模式。需要注意的是，目前USB的改法是个临时方案，可能会对其它tinyu***有影响。

4.1.3 配置工程

进入esp32s2_u***disp

idf.py set-target esp32s2 #设置目标芯片

idf.py menuconfig #修改配置，

相关4个配置如下：主要是配置LCD管脚,提高CPU频率到 240M，编译为O2性能模式，使能 tinyUSB

4.1.4 编译

idf.py build

生成固件

4.1.5 可选的杂项

串口连接S2查看工作状态

默认打印FPS

开机logo

实现了一个开机图片，一个重要的功能是表明屏驱动在工作。是内嵌jpeg 文件的数组。具体是 logo.c 实现。

只要替换这个logo_jpg数组的内容即可。大小不要超过320*240.

我是用 git://github.com/Jamesits/bin2array.git 实现转换的，python小工具。

4.2 windows驱动编译

本人使用是vs2015+wdk10，也可以使用vs2019+wdk10等。大家可以自己看情况，网上也有相关教程。如果不想魔改，这个驱动也应该够用了。能魔改更好。

打开工程，右键工程，选择生成。

然后会在类似下面的路径生成驱动包。这个是x64的，应该没人用32位的系统吧？

软件架构

从设计实现上，本软件是支持２种数据模式，一种rgb565直传，一种是jpeg压缩数据。

USB传输也实现了两种：一种是同步，一种是异步模式。异步从理论上讲性能要好一些。

rgb565直传，同步模式主要是为了调试而存在了。

6.1 ESP32固件架构

U***实现了一个vendor自己定义的USB设备,有一个in 管道。

注册一个回调处理函数tud_vendor_rx_cb，收到一个数据包64字节。

先进行头解析，如果是起始包byte[0] bit7 置位，表明一个操作开始，解析相应参数（total_size,top,bottom,...）。

然后将数据推入缓存disp_rx_ring_buf中。

显示线程，从disp_rx_ring_buf抽取数据进程处理，目前都是jpeg的显示数据，所以都会走jpeg显示处理，边接收数据边解码，积累到足够多时（一次多传输点，能降低额外开销，提高速度），启动SPI dma进行送显。同时会交换ping-pong buffer. 并行进行，提高FPS.

主机与设备通讯协议是沿用rpu***disp的协议。就是消息头改了下：

该协议的要点：

USB是包消息，并且是固定长度64byte（大体如此），最后一个包例外。所以每个包第一个字节是协议占用，表明类型。好处是方便定位消息头部：如果第一个字节的bit7置位，就是一个新的操作，否则是数据。这样利于出错恢复。

解码与屏幕刷新：
1.这种是dma模式的spi，跑的是40Mhz，理论带宽可以跑到30 fps，如果spi是80Mhz的.屏幕也支持的话，就加倍了60fps。
2.另外一个关键点是边解码边刷数据，并行做。比如数据一帧要50ms.传输也要50ms.那串行就要100.并行就只要50ms.
3.一次刷dma数据不要太少，建议一次传5kb，降低非必要开销。具体大小要和数据配合调优。

6.2 windows驱动架构

大体框架是基于MS的idd驱动sampledriver,所以我只讲增加的部分。

1.在void SwapChainProcessor::RunCore()采集屏幕数据，当前没有找dirty区域，因为懒。

直接复制整个屏幕.

在这里，存在一个将GPU 数据转换为CPU能访问的数据区域，具体是创建了一个ID3D11Texture2D对象，其有D3D11_CPU_ACCESS_READ能力。然后复制出GPU 数据.
自动适应屏幕大小缩放。如果是640*480就2:1缩放。
然后调用u***_send_jpeg_image()发送
具体是先生成包头，内容jpeg编码压缩，这里有一个自动压缩率算法，目的是保证FPS能稳定在13-15fps。下位机能力比较弱，使用固定压缩质量，复杂画面容易把fps拉到10fps.
编码成u***协议包，也就是为每64byte增加一个特别的头。
调用u***_send_msg_async（）进行真正的USB传输。

开发者

不才，欢迎相互交流下经验。

7.1 windows调试：

主要有２种，一种是用tracevew来查看驱动日志，另一种是windbg。

目前没有明显的bug,应该都用不上。只是开发过程中用得比较多。

7.2 esp32调试：

主要是log,当然也有一些高级点的调试，比如通过panic dump信息来正面刚来调试。

7.进一步的工作：

提高FPS，当前的瓶颈在于JPEG解码开销。可能的方法：