低功耗高效捕捉！Novatek NT98568+OmniVision OS04E10实现完美Preroll方案

Novatek NT98568+OS04E10实现完美Preroll方案

联咏 NT98568 是一款高度整合的系统单芯片 (SoC)，专为 2Mp 至 8Mp 的边缘 IP 摄影机应用量身打造。它具备卓越的影像品质、低码率、低功耗，并支持 preroll 和 always-on video 模式，特别适合电池供电的智慧门铃和居家安防设备。

 

这款芯片集成了双核ARM Cortex-A7 CPU、新一代ISP、H.265/H.264视频编解码器、硬件DLA模块、图形引擎、视频处理引擎（VPE）和显示控制器。此外，还支持以太网、USB 2.0、音频编解码器、RTC和SD/SDIO 3.0等外围功能，提供高性价比的全方位边缘摄像解决方案，满足多样化的智能应用需求。

 

NT98568的Preroll功能能够持续将影像缓存至内存中，在触发事件发生时保留事件前的影像数据。这一功能对于捕捉完整事件场景至关重要，确保不会错过任何关键时刻。搭配OnSemi OS04E10感光元件，NT98568在低光环境下表现尤为出色，为电池供电的智能设备提供了理想的解决方案。

 

Sensor 介绍

OmniVision OS04E10是一款分辨率为2K2K（2048x2048）的正方形CMOS图像传感器，专为1:1长宽比的超广角安防摄像机设计，如吸顶摄像头或鱼眼镜头应用。其独特的数字水印功能可防止视频源被篡改，确保影像的真实性和可靠性。此外，该传感器支持512p常开低功耗模式，能够即时捕捉快速移动的画面，同时实现优异的Preroll视频录制功能，非常适合长时间待机的电池供电设备。

 

在8051系统下，可实现512x512分辨率的影片录制，总计20帧（7帧/秒，录制3秒）。当传感器检测到物体移动时，触发“md hits”功能，系统进入Fastboot 2.0模式。在RTOS阶段，所有Preroll帧被编码为H26x位元流，后续可在HDAL阶段获取。

 

系统流程

Preroll流程图

 

Pre-roll的流程说明如下，系统上电后，会先执行RTOS部分

 

1. 进入RTOS，启动8051 Preroll功能

2. 8051开始产生压缩后的preroll影像，RTOS进入power-off状态

3. 当sensor侦测到动作后，开始唤醒系统

   (1)准备RTOS环境，并行以下任务

载入Linux

进行快速编码

   (2)释放RTOS资源并与Linux SMP同步

4. 同时间Linux部分流程为

开启sensor

进行分辨率调整

等待并跳转至Linux

Linux开机

等待RTOS并入Linux SMP

执行application

5. 当侦测的事件处理完成后，可再回到preroll模式等待下个事件发生

 

执行过程

 

在开机过程中，系统最初从RTOS启动，当控制台日志停在'notify 8051 shut'时，表示系统已进入preroll模式并正在录制影片。

 

当感测器侦测到物体移动（在感测器前挥手）并触发'md hits'功能时，系统会转换到RTOS系统。此时，控制台日志会显示'Hello RTOS World! CPU[1]'。随后，当看到日志显示'is_fastboot = 1'时，表示系统已进入Fastboot 2.0模式。

 

当日志显示'fastboot_version = 2'时，表示这是Fastboot 2.0版本，同时也代表RTOS阶段即将结束。当系统切换到Linux系统时，日志会显示'%%Booting Linux on physical CPU 0x0'。

 

当Linux开机程序完成后，系统会进入shell界面，显示'root@NVTEVM:~$'提示符号。

接着可以执行preroll AP 'preroll_fastboot 1 0'指令，取得preroll位元流档案'dump_bs_preroll_0.dat'和主要位元流档案'dump_bs_main_0.dat'。

 

当AP执行时，按下'p'键会让8051进入preroll模式，在此期间main part会关闭电源。当感测器侦测到动作时，系统将重复上述流程。

 

►场景应用图

 

►产品实体图

 

►展示板照片

 

►方案方块图

 

►核心技术优势

1. 提供完整SDK予客户使用

2. Preroll模式可降低功耗，延长待机时间

3. 整合CNN，实现边缘运算

 

►方案规格

1. 芯片核心 Dual Cortex-A7

2. 内嵌8051 MCU

3. AI运算力是0.5T

4. 电源输入是12V/2A

5. Kernel version：Linux 5.10.168

6. 结合影像和语音编解码器

 

Q＆A

Q1. 是否支持外部PSRAM？

A：是。

 

Q2. 系统主频为多少？

A：800 Mhz。

 

Q3. NT98568支持多大容量的内存？

A：根据型号的不同，有以下规格

      568QC/QD - 1024(Mb)/2048(Mb)

      568QB - 512(Mb)。

 

Q4. 目前preroll功能是否仅支持OS04E10 

A：还有支持 GalaxyCore GC4103。

 

Q5. preroll模式唤醒后开机需时多久？

A：在lower power模式下需200ms。

 

欢迎关注大联大工程师社区——大大通

 

 

登录大大通网站，提问/评论，获取技术文档等更多资讯！