- 主题技术
- 以原创技术系统为根基,SenseCore东升国际官网AI大装置为主题基座,布局多领域、多方向前沿钻研,
急剧买通AI在各个垂直场景中的利用,向行业赋能。
ECCV 2022 Oral | OpenLane:超大规模真实场景3D车路线检测工作

Part 1 Motivation
自动驾驶行业蓬勃发展,而其中的辅助驾驶系统 (ADAS) 或者L2到L4的驾驶场景都必要提供一些车路线检测职能如Automated Lane Centering (ALC)和 Lane Departure Warning (LDW)。这其中的主题?榫褪且桓雎嘲舻,泛化机能好的车路线检测器。而随着深度进建的不休演进,2D车路线检测已经有了较为成熟的做法。但是2D车路线其实是无法满足工业界的真正需要,重要体此刻两点。
1. 下游的规控?楸匾德废呒觳獠谀耦际咏牵˙EV),而仅作单一的前视图到鸟瞰图的投影会极大依赖于相机参数,而这在现实场景中是很难获取到正确的真值。
2. 车路线的高度信息在投影过程中占有很沉要的职位,尤其是在高低坡场景中,高度信息会极大地影响投影质量,而之前的投影做法是在水平路面的如果上进行的。而目前市面上短缺一个带高度信息的车路线数据集。
如图所示是直观的介绍从(a)Perspective View到(b)中Bird Eye View做车路线检测的动机:在平面如果下,车路将在投影BEV中分叉/汇聚,思考到高度的3D解决规划能够正确预测这种情况下的平行拓扑结构。而(c)在特点层面用PersFormer做投影,能较好地加强投影特点,进而解决BEV下检测禁绝的问题。

基于这些问题,团队别离提出了PersFormer(Perspective Transformer)一种端到端的单目3D车路线检测器,和大规模真实场景3D车路数据集——OpenLane。
Part 2 Perspective Transformer
整体Pipeline
如图是整个PersFormer流水线:其主题是进建早年视图到BEV空间的空间特点转换,关注参考点周围的部门环境,在指标点(target point)天生的BEV特点将更具代表性;PersFormer由自把稳?樽槌,用于与自身BEV查问进行交互;交叉把稳?榇踊贗PM的前视图特点中获取key-value对,天生细粒度BEV特点。

PersFormer整体pipeline
这里主干网将resized图像作为输入,并天生多尺度前视图特点。主干网选取了盛行的ResNet变型,这些特点可能会受到尺度变动、遮挡等缺点的影响,这些缺点来自前视图空间中固有的特点提取。最后,车路检测头掌管预测2D和3D坐标以及车路类型。2D/3D检测头被称为LaneATT和3D LaneNet,其中对结构和锚点设计进行了一些批改。
View Transformation
若何做Perspective View到Bird Eye View的转换是PersFormer的沉点,这里我们使用了交叉把稳力机造来解决这个问题。如图所示是交叉把稳中天生key:BEV空间中的点(x,y)通过中央态(x′,y′)投射前视图中的对应点(u,v);通过进建偏移量,网络进建从绿色矩框到黄色指标参考点之间的映射,以及有关的蓝色框作为Transformer的key。

交叉把稳力机造示意图
Unified Anchor Design
进一步的指标是统一2-D车路检测和3-D车路检测工作,选取多工作进建(multi-task learning)进行优化。一方面,透视图中,2D车路检测依然作为各人的兴致;另一方面,统一2D和3D工作天然是可行的,由于预测3D输出的BEV特点来自2D分支中的对应项。
如图是在2D和3D中统一锚点设计:首先在BEV空间(左)搁置策动的锚点(红色),而后将其投影到前视图(右)。偏移量xik和uik(虚线)预测真值(黄色和绿色)到锚点的匹配。这样就成立了对应关系,并一路优化了特点。

统一2D和3D锚点设计示意图
Part 3 OpenLane
OpenLane蕴含20万帧、超过88万条事俘级车路、14个车路类别(单白色虚线、双黄色实体、左/右路边等),以及场景标签和路线邻近指标(CIPO)注解,以激励开发3D车路检测和更多与产业有关的自动驾驶步骤。
如表是OpenLane和其他基准线的比力:

OpenLane与现有基准的比力
“Avg. Length”暗示分段的均匀持续功夫;
“Inst.Anno.”批示车路是否按事俘注解(按c.f.语义注解);
“Track. Anno.”暗示车路是否拥有唯一的跟踪ID;
“#Frames”中的数字别离是总帧中带注解的帧数;
“Line Category”暗示车路种类;
“Scenario”暗示场景标签。
标注类型
? 车路状态:每个2D/3D车路显示为一组2D/3D点
? 车路类别:每条车路都有一个类别,例如双黄线或路缘
? 车路属性:某些车路拥有右、左等属性
? 车路跟踪ID:除路缘表,每条车路都有唯一的ID
? 停车线和路缘
(有关更多注解尺度,请参考车路Anno尺度)
CIPO/场景注解
? 二维天堑框:其类别暗示对象的沉要性级别
? 场景象征:它描述了在哪个场景中网络此帧
? 气象标签:它描述了在什么气象下网络此帧
? 幼时象征:它注解了网络此帧的功夫
数据集可视化

OpenLane标注样例

OpenLane样例概览,涵盖夜晚、日光、弯路等多种场景
Part 4 尝试了局
我们在幼规仿照真3D车路线数据集Apollo和大规模真实场景3D车路线数据集OpenLane别离做了尝试,均达到SOTA水平。
Apollo尝试了局

OpenLane尝试了局

消融尝试对比

有关资料
?论文地址:
https://arxiv.org/pdf/2203.11089.pdf
?项目地址:
https://github.com/OpenPerceptionX/OpenLane





返回