东升国际官网

申请试用
登录
  • hd-share-img01
主题技术
以原创技术系统为根基,SenseCore东升国际官网AI大装置为主题基座,布局多领域、多方向前沿钻研,
急剧买通AI在各个垂直场景中的利用,向行业赋能 。

ECCV 2022 Oral | OpenLane:超大规模真实场景3D车路线检测工作

2022-09-18

1.png

Part 1 Motivation


自动驾驶行业蓬勃发展,而其中的辅助驾驶系统 (ADAS) 或者L2到L4的驾驶场景都必要提供一些车路线检测职能如Automated Lane Centering (ALC)和 Lane Departure Warning (LDW) 。这其中的主题 ?榫褪且桓雎嘲舻,泛化机能好的车路线检测器 。而随着深度进建的不休演进,2D车路线检测已经有了较为成熟的做法 。但是2D车路线其实是无法满足工业界的真正需要,重要体此刻两点 。


1. 下游的规控 ?楸匾德废呒觳獠谀耦际咏牵˙EV),而仅作单一的前视图到鸟瞰图的投影会极大依赖于相机参数,而这在现实场景中是很难获取到正确的真值 。


2. 车路线的高度信息在投影过程中占有很沉要的职位,尤其是在高低坡场景中,高度信息会极大地影响投影质量,而之前的投影做法是在水平路面的如果上进行的 。而目前市面上短缺一个带高度信息的车路线数据集 。


如图所示是直观的介绍从(a)Perspective View到(b)中Bird Eye View做车路线检测的动机:在平面如果下,车路将在投影BEV中分叉/汇聚,思考到高度的3D解决规划能够正确预测这种情况下的平行拓扑结构 。而(c)在特点层面用PersFormer做投影,能较好地加强投影特点,进而解决BEV下检测禁绝的问题 。


2.png

基于这些问题,团队别离提出了PersFormer(Perspective Transformer)一种端到端的单目3D车路线检测器,大规模真实场景3D车路数据集——OpenLane 。


Part 2 Perspective Transformer


整体Pipeline


如图是整个PersFormer流水线:其主题是进建早年视图到BEV空间的空间特点转换,关注参考点周围的部门环境,在指标点(target point)天生的BEV特点将更具代表性;PersFormer由自把稳 ?樽槌,用于与自身BEV查问进行交互;交叉把稳 ?榇踊贗PM的前视图特点中获取key-value对,天生细粒度BEV特点 。


3.png

PersFormer整体pipeline


这里主干网将resized图像作为输入,并天生多尺度前视图特点 。主干网选取了盛行的ResNet变型,这些特点可能会受到尺度变动、遮挡等缺点的影响,这些缺点来自前视图空间中固有的特点提取 。最后,车路检测头掌管预测2D和3D坐标以及车路类型 。2D/3D检测头被称为LaneATT和3D LaneNet,其中对结构和锚点设计进行了一些批改 。


View Transformation


若何做Perspective View到Bird Eye View的转换是PersFormer的沉点,这里我们使用了交叉把稳力机造来解决这个问题 。如图所示是交叉把稳中天生key:BEV空间中的点(x,y)通过中央态(x′,y′)投射前视图中的对应点(u,v);通过进建偏移量,网络进建从绿色矩框到黄色指标参考点之间的映射,以及有关的蓝色框作为Transformer的key 。


4.png

交叉把稳力机造示意图


Unified Anchor Design


进一步的指标是统一2-D车路检测和3-D车路检测工作,选取多工作进建(multi-task learning)进行优化 。一方面,透视图中,2D车路检测依然作为各人的兴致;另一方面,统一2D和3D工作天然是可行的,由于预测3D输出的BEV特点来自2D分支中的对应项 。


如图是在2D和3D中统一锚点设计:首先在BEV空间(左)搁置策动的锚点(红色),而后将其投影到前视图(右) 。偏移量xik和uik(虚线)预测真值(黄色和绿色)到锚点的匹配 。这样就成立了对应关系,并一路优化了特点 。


5.png

统一2D和3D锚点设计示意图


Part 3 OpenLane


OpenLane蕴含20万帧、超过88万条事俘级车路、14个车路类别(单白色虚线、双黄色实体、左/右路边等),以及场景标签和路线邻近指标(CIPO)注解,以激励开发3D车路检测和更多与产业有关的自动驾驶步骤 。


如表是OpenLane和其他基准线的比力:


6.png

OpenLane与现有基准的比力


“Avg. Length”暗示分段的均匀持续功夫;

“Inst.Anno.”批示车路是否按事俘注解(按c.f.语义注解);

“Track. Anno.”暗示车路是否拥有唯一的跟踪ID;

“#Frames”中的数字别离是总帧中带注解的帧数;

“Line Category”暗示车路种类;

“Scenario”暗示场景标签 。


标注类型


? 车路状态:每个2D/3D车路显示为一组2D/3D点

? 车路类别:每条车路都有一个类别,例如双黄线或路缘

? 车路属性:某些车路拥有右、左等属性

? 车路跟踪ID:除路缘表,每条车路都有唯一的ID

? 停车线和路缘

(有关更多注解尺度,请参考车路Anno尺度)


CIPO/场景注解


? 二维天堑框:其类别暗示对象的沉要性级别

? 场景象征:它描述了在哪个场景中网络此帧

? 气象标签:它描述了在什么气象下网络此帧

? 幼时象征:它注解了网络此帧的功夫


数据集可视化


6.jpg

OpenLane标注样例


7.png

OpenLane样例概览,涵盖夜晚、日光、弯路等多种场景


Part 4 尝试了局 


我们在幼规仿照真3D车路线数据集Apollo和大规模真实场景3D车路线数据集OpenLane别离做了尝试,均达到SOTA水平 。


Apollo尝试了局


8.png


OpenLane尝试了局


9.png


消融尝试对比


10.png


有关资料


?论文地址:

https://arxiv.org/pdf/2203.11089.pdf


?项目地址:

https://github.com/OpenPerceptionX/OpenLane

产品试用
填写此单一表格,我们将尽快联系您!
商务合作
400 900 5986
周一至周五 9:00-12:00,13:00-18:00
合作同伴招募
【网站地图】