神经重建在自动驾驶模拟中的应用-德赢Vwin官网网

验证自动驾驶软件需要数百万公里的测试。这不仅意味着系统开发周期长，而且系统的复杂度也会不断增加，同时，大规模的实车测试也会耗费巨量的资源并且可能会面临未知的安全问题。ai Sim这样的虚拟仿真工具可以减轻真实世界测试的负担。

AD和ADAS系统依靠闭环验证来确保安全性和性能。然而，实现闭环评估需要一个能够准确代表真实世界场景的3D环境。虽然这些3D环境可以由3D设计工程师手工构建，但这种方案很难解决Sim2Real的差距并且在可扩展方面存在一定的局限性。为此，本文为您介绍神经重建如何打破限制，在自动驾驶vwin 中的具体应用。

一、神经渲染——弥合差距

神经渲染可以利用深度学习技术来缓解这个问题，它可以从一个新的视角上逼真地渲染静态（和动态）环境。当然这种方法也存在一定的优劣点：

1、优点：

（1）高保真的仿真质量：神经渲染可以产生几乎和现实无异的场景，增强现实感。

（2）数据驱动和可扩展：这种方法具有可扩展性，使其适用于实时应用（如3D高斯泼溅）。

2、缺点：

（1）分布外的对象：神经渲染很难将分布外（即以前未见过的）的对象插入 3D 环境中。

（2）伪影对动态物体的影响：伪影可能会影响动态物体的外观。

（3）几何不一致：在深度预测中，可能会出现几何不一致。

二、现有生成模型的挑战

目前的生成模型能够创建高度逼真的图像和视频，但它们在几个方面存在不足，例如:

（1）仅 2D 信息：这些模型不提供 3D 信息，仅在 2D 图像空间中操作。

（2）射影几何的空白：更多内容请参见https://arxiv.org/abs/2311.17138

（3）有限的传感器模态:这些模型不能用于生成其他传感器模态(例如，激光雷达)。

总之，当前的生成模型不适合汽车级验证。

三、康谋混合解决方案：集成式神经重建

为了解决这些限制，aiSim5提供了一种混合方案。在成熟的基于物理的渲染方案中集成最前沿的神经重建技术，使我们能够在任意位置虚拟地插入动态对象，调整环境条件，并渲染以前未见过的相机视角。

通过这种方式，我们能实现以下的功能：

1、虚拟动态内容插入

（1）添加具有逼真光照和环境光遮蔽的动态对象。

（2）模拟如雨、雪、雾等环境效果，以创建更多样化的模拟场景。

2、多模态渲染：

（1）从任意相机视角生成精确的RGB图像、深度图和激光雷达强度图（如下图所示，第一行为GT）。

（2）未来的工作将包括语义分割掩码和雷达仿真。

3、相机虚拟化:

（1）模拟各种虚拟相机设置，包括不同的相机的安装和定向以及模型。

（2）下图展示了模拟的前置鱼眼（左）、前置广角（中）和前置长距（右）相机的渲染效果，这些图像是通过一个没有直接使用前置相机数据训练的模型生产的，也就是说，这些视角并没有专门采集数据进行训练。

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表德赢Vwin官网网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。举报投诉

仿真

仿真

+关注

关注
50

文章
4070

浏览量
133549
软件

软件

+关注

关注
69

文章
4921

浏览量
87383
渲染

渲染

+关注

关注
0

文章
69

浏览量
10917
智能汽车

智能汽车

+关注

关注
30

文章
2843

浏览量
107242
自动驾驶

自动驾驶

+关注

关注
784

文章
13784

浏览量
166366

FPGA在自动驾驶领域有哪些应用？

是FPGA在自动驾驶领域的主要应用：一、感知算法加速图像处理：自动驾驶中需要通过摄像头获取并识别道路信息和行驶环境，这涉及到大量的图像处理任务。FPGA在处理图像上的运算速度快，可并行性强，且功耗

发表于 07-29 17:09

【话题】特斯拉首起自动驾驶致命车祸，自动驾驶的冬天来了？

自动驾驶技术已经有足够积累，虽然还不完美无缺，但是可以投入商用，科技都是在使用中完善的，不能一遭被蛇咬，十年怕井绳，难道发生一次空难之后，以后飞机就停飞啦？技术流朋友，更加关注问题本身，有什么技术手段可以解决此类问题？对于这个问题，公说公有理婆说婆有理，元芳，你怎么看?

发表于 07-05 11:14

自动驾驶真的会来吗？

上形成了对“自动驾驶”概念的进一步普及。Google无人车模拟图　　深层技术得到关注　　另一方面，在对特斯拉事故中的安全性话题讨论之余，深层次的技术也进一步得到探讨和传播。　　张璐称，特斯拉致死事件为

发表于 07-21 09:00

自动驾驶的到来

的Telematics收发芯片，非常适合V2V及V2X等相关应用中。　　相比于传统的底盘、发动机等传统汽车技术，自动驾驶更多的技术集中在电子领域，而且核心技术并没有被跨国车厂或Tier1所垄断。并且

发表于 06-08 15:25

AI/自动驾驶领域的巅峰会议—国际AI自动驾驶高峰论坛

发展前景与方向【中德企业家座谈】中、德两国企业家之间的高端座谈会，零距离交流、深层次洽谈【德国名企工厂考察】探访德国制造的奥秘，领略成功背后的智慧... …本次AI自动驾驶高峰论坛参会嘉宾均为行业翘楚

发表于 09-13 13:59

神经网络解决方案让自动驾驶成为现实

的数据集，因此神经网络也有望在未来的汽车中发挥更大的作用。这些作用将包括承担系统中其它复杂的信号处理任务，例如雷达模块及语音识别系统。随着神经网络首次应用于车载自动驾驶系统，（据报道，

发表于 12-21 17:11

【PYNQ-Z2申请】基于PYNQ的神经网络自动驾驶小车

项目名称：基于PYNQ的神经网络自动驾驶小车试用计划：一、本人技术背景本人有四年以上的嵌入式开发和三年以上的机器视觉领域项目实践经验，在计算机视觉与FPGA数字图像处理方面有较多的理论研究与项目实践

发表于 12-19 11:36

【PYNQ-Z2试用体验】基于PYNQ的神经网络自动驾驶小车 - 项目规划

小车运动的控制信号，实现小车自动驾驶。在初步实现方案中，为了快速实现整体功能，使用软件神经网络作为控制器，使用单片机作为底盘电机的控制器。在进一步的实现中，所有数据处理和底盘控制全部由

发表于 03-02 23:10

如何让自动驾驶更加安全？

自动驾驶、完全自动驾驶。第四级别是汽车驾驶自动化、智能化程度最高级别，也就是通常所说的无人驾驶。现实中

发表于 05-13 00:26

自动驾驶汽车的处理能力怎么样？

作在未来20 - 30年中，自动驾驶汽车（AV）将改变我们的驾驶习惯、运输行业并更广泛地影响社会。我们不仅能够将汽车召唤到我们的家门口并在使用后将其送走，自动驾驶汽车还将挑战个人拥有

发表于 08-07 07:13

自动驾驶汽车中传感器的分析

特斯拉在五月份发生的自动驾驶事故，和最近在Defcon上演示的如何干扰传感器，都充分说明了传感器在自动驾驶中的重要性：环境感知是自动驾驶实现的基础，如果不能正确地感知周围环境，那么接下

发表于 05-14 07:34

自动驾驶系统要完成哪些计算机视觉任务？

Geiger 的研究主要集中在用于自动驾驶系统的三维视觉理解、分割、重建、材质与动作估计等方面。他主导了自动驾驶领域著名数据集 KITTI 及多项自动驾驶计算机视觉任务的基准体系建设，

发表于 07-30 06:49

如何保证自动驾驶的安全？

自动驾驶技术为人们勾勒出了一副美好的未来出行的画面：坐上没有方向盘的汽车，一觉睡到公司门口；甚至我们可能不再拥有一辆汽车，需要出门时共享自动驾驶汽车会自己到来，送到目的地时会自行离开……不过自动驾驶

发表于 10-22 07:45

自动驾驶车辆中AI面临的挑战

自动驾驶车辆中采用的AI算法自动驾驶车辆中AI面临的挑战

发表于 02-22 06:39

基于神经辐射场(NeRFs)的自动驾驶模拟器

如今，自动驾驶汽车可以在普通情况下平稳驾驶，人们普遍认为，真实的传感器模拟将在通过模拟解决剩余的极端情况方面发挥关键作用。为此，我们提出了一种基于神

发表于 08-01 14:46 •748次阅读

搜索历史

神经重建在自动驾驶模拟中的应用