地平线林天威:面向端到端自动驾驶的稀疏感知通用架构探索
日期:2023-10-17 14:48:21 / 人气:262
|直播预告“端到端自动驾驶是自动驾驶技术的重要发展方向之一。要实现端到端的自动驾驶,高精度的3D信息输入必不可少,因此如何实现高精度的3D感知显得尤为关键。
从3D感知的技术路径来看,主要包括密集算法和稀疏算法两大类。
在稠密算法领域,主要通过点云转换和多视点立体视觉获得场景中各点的深度信息,从而更准确地描述场景中的物体。其中,最具代表性的就是近两年火热的BEV感知。多传感器数据从图像空间到BEV空间的转换过程,就是从典型密集特征到密集特征的重排和组合过程。目前,BEV已经得到了业界的广泛关注和部署。
密集算法也面临一些挑战,比如数据量巨大,需要高效的数据处理和存储方法来提高计算效率,减少内存占用。此外,考虑到多传感器数据结构的复杂性,需要高效的计算方法和平台来提高处理速度,满足实时性要求。然而,在大多数实际应用场景中,自动驾驶系统需要计算的目标通常以稀疏状态分布在空间中,这意味着大量的计算浪费在密集的算法类别中。
稀疏感知算法通过减少查询次数和特征交互量来加快计算速度和降低存储需求,大大提高了感知模型的计算效率和系统性能。基于稀疏算法的感知方案在2D到3D的转换效率和远距离感知方面具有一定的优势,也是目前业界积极探索的方向。
最近Horizon发表了一系列关于稀疏感知方案的著作:Sparse4D v1&v2,从查询构造模式、特征采样模式、特征融合模式、时间序列融合模式等方面提升了模型感知效果。Sparse4D在nuScenes检测任务中实现了SOTA效应,超过了VideoBEV、SOLOFusion、StreamPETR等算法的指标。
为了让大家更好地了解Sparse4D,10月18日19: 00,地平线与智猩猩策划推出了地平线“你好,开发者”自动驾驶技术新专场,主题为“面向端到端自动驾驶的稀疏感知通用架构探索”,由地平线感知算法工程师林天伟主讲。
林天威将首先介绍3D感知的研究背景和发展现状,分析稀疏通用感知架构。之后林天威将重点介绍和讲解稀疏三维目标检测算法Sparse4D v1 & v2的相关工作。最后,他将分享稀疏感知新范式的未来探索方向。
特殊内容
主题:探索端到端自动驾驶稀疏感知的通用架构。
大纲:
1.三维感知的研究背景和现状。
2.稀疏一般感知体系结构分析
3.Sparse4D v1&v2,一种长时间稀疏3D目标检测算法。
4.稀疏传感新范式的未来探索方向。
主讲人
林天威,地平线感知算法工程师,主要研究领域包括端到端自动驾驶、生成模型、视频时序理解等。在CVPR、ICCV、ECCV、AAAI、TPAMI等会议期刊上发表论文20余篇。,引用次数超过2500次。
课程信息
直播时间:10月18日19: 00。
直播地点:智能猩猩直播间”
从3D感知的技术路径来看,主要包括密集算法和稀疏算法两大类。
在稠密算法领域,主要通过点云转换和多视点立体视觉获得场景中各点的深度信息,从而更准确地描述场景中的物体。其中,最具代表性的就是近两年火热的BEV感知。多传感器数据从图像空间到BEV空间的转换过程,就是从典型密集特征到密集特征的重排和组合过程。目前,BEV已经得到了业界的广泛关注和部署。
密集算法也面临一些挑战,比如数据量巨大,需要高效的数据处理和存储方法来提高计算效率,减少内存占用。此外,考虑到多传感器数据结构的复杂性,需要高效的计算方法和平台来提高处理速度,满足实时性要求。然而,在大多数实际应用场景中,自动驾驶系统需要计算的目标通常以稀疏状态分布在空间中,这意味着大量的计算浪费在密集的算法类别中。
稀疏感知算法通过减少查询次数和特征交互量来加快计算速度和降低存储需求,大大提高了感知模型的计算效率和系统性能。基于稀疏算法的感知方案在2D到3D的转换效率和远距离感知方面具有一定的优势,也是目前业界积极探索的方向。
最近Horizon发表了一系列关于稀疏感知方案的著作:Sparse4D v1&v2,从查询构造模式、特征采样模式、特征融合模式、时间序列融合模式等方面提升了模型感知效果。Sparse4D在nuScenes检测任务中实现了SOTA效应,超过了VideoBEV、SOLOFusion、StreamPETR等算法的指标。
为了让大家更好地了解Sparse4D,10月18日19: 00,地平线与智猩猩策划推出了地平线“你好,开发者”自动驾驶技术新专场,主题为“面向端到端自动驾驶的稀疏感知通用架构探索”,由地平线感知算法工程师林天伟主讲。
林天威将首先介绍3D感知的研究背景和发展现状,分析稀疏通用感知架构。之后林天威将重点介绍和讲解稀疏三维目标检测算法Sparse4D v1 & v2的相关工作。最后,他将分享稀疏感知新范式的未来探索方向。
特殊内容
主题:探索端到端自动驾驶稀疏感知的通用架构。
大纲:
1.三维感知的研究背景和现状。
2.稀疏一般感知体系结构分析
3.Sparse4D v1&v2,一种长时间稀疏3D目标检测算法。
4.稀疏传感新范式的未来探索方向。
主讲人
林天威,地平线感知算法工程师,主要研究领域包括端到端自动驾驶、生成模型、视频时序理解等。在CVPR、ICCV、ECCV、AAAI、TPAMI等会议期刊上发表论文20余篇。,引用次数超过2500次。
课程信息
直播时间:10月18日19: 00。
直播地点:智能猩猩直播间”
作者:杏彩娱乐
新闻资讯 News
- 《穿越怒海》揭露了“爱学习”的...12-04
- 谍战片《刀尖》在信仰版之后曝光...12-04
- 导演雷神3:诸神的黄昏:我是为了...12-04
- 九年来,迪士尼首次在没有电影的...12-04