本次分享两篇轨迹预测有关CVPR 2020poster论文:

基于候选轨迹的轨迹预测步骤(TPNet: Trajectory Proposal Network for Motion Prediction)

基于递归指标关系图的轨迹预测步骤(Recursive Social Behavior Graph for Trajectory Prediction)

论文作者来自东升国际官网自动驾驶分析与预测组、港中文MM Lab尝试室以及上海交通大学卢策吾教员团队。

TPNet论文地址：https://arxiv.org/pdf/2004.12255.pdf

RSBG论文地址：https://arxiv.org/pdf/2004.10402.pdf

工作介绍

随着自动驾驶的急剧发展，若何理解自动驾驶周围指标的行为成为自动驾驶系统中的沉要一环。轨迹预测工作旨在凭据指标(如行人、车辆等交通参加者)当前或者汗青轨迹与环境信息，对该指标将来的行驶轨迹进行预测。轨迹预测了局是自动驾驶系统进行提前决策的沉要信息之一。

动机

轨迹预测工作有以下几个难点:

1.预测了局多模态(multimodal)个性：对于统一条汗青轨迹，分歧指标可能有分歧的将来轨迹。例如在十字路口，A车可能左转, B车可能直行。若何对不赞成图进行建模，使预测步骤可能天生较为美满的预测了局是轨迹预测工作较为关注的一点。

2.预测了局可诠释、靠得住: 交通参加者通常会受到各类交通规定的约束，若何利用这些规定输出安全靠得住的预测了局对于自动驾驶系统而言至关沉要。

3.指标间交互关系建模: 在自动驾驶场景中，指标间的行为不仅受到其自身的意图影响，还会受到周围其他指标行为的影响。

针对前两个问题, 我们提出TPNet: Trajectory Proposal Network for Motion Prediction。为了输出多模态的预测了局，之前的步骤大多进建一个轨迹的散布，通过采样、最大化后验概率的步骤得到一个或多个概率较大的轨迹。然而对于轨迹预测工作来说将来轨迹的散布空间可能极度大，如左转和右转两种意图对应的轨迹相差较大，导致基于数据驱动的步骤难以进建到这种多模态预测。因而我们提出一种新型的两阶段轨迹预测步骤TPNet。在第一阶段，TPNet预测不赞成图的多个终点并基于这些终点天生分歧的候选轨迹(proposals)。在第二阶段，TPNet会对这些proposals进行分类和回归，分类？槎悦扛龊蜓」旒＝卸分类，回归？槎院蜓」旒＝薪ǜ牡玫皆椒⒕嫉脑げ饬司。值得一提的是，这种两阶段步骤保障了两种轨迹的多模态，首先针对不赞成图，TPNet会天生分歧的轨迹
；其次针对统一种意图，TPNet也会天生一组候选轨迹。进一步的，这种两阶段框架也能够援手我们将一些先验知识融入进深度进建框架，我们提出对不在可行驶区域(如下图，白色区域为车辆可行驶区域，灰色为行人可行驶区域)的候选轨迹与预测了局进行惩治，衰减其相信度，从而保障预测了局的靠得住性。

针对指标间交互关系建模，我们提出Recursive Social Behavior Graph for Trajectory Prediction。近年来基于RNN的算法极大的提升了预测的正确精度，但是在一些处所依然有较大的提升空间。较为关键的一点是引入人群之间的交互关下反辅助预测。

起初的做法，例如pooling和attention，都是基于行人之间的欧式距离来判断交互关系的强弱。这种基于欧氏距离的判断步骤，不能很好的处置现实生涯中复杂的情况。例如下图中所示，上图两人固然相隔整个场景，但是阐发出了很强的相遇的行为偏差。而下图的三组行人，红色两组固然距离较远，但是阐发出了追随的行为，而红蓝两组固然距离较近，但是没有产生很强的相互作用。

我们提出了使用基于行人组层面的标注来解决这一困境。通过将有类似行为，主张地的行人分为幼组，并对组在行人进行关系标注，能够对整个场景中的行人关系进行详尽的抽取。同时，萦绕这一思路，我们提出了基于LSTM和GCN的神经网络模型，来递归的对行人轨迹和关系进行分析，在ETH和UCY数据集上获得了超过10%的提升。

步骤介绍

TPNet

我们提出的两阶段预测步骤TPNet如上图所示，重要分为四个？椋 基础特点提取？椤⒅盏阍げ饽？椤⒐旒Ｌ焐？橐约肮旒７掷嘤虢ǜ哪？。

基础特点提取？榻岷现副甑暮骨喙旒！⒒肪承畔(路路结构)，使用基于CNN Encoder-Decoder的结构提取特点。并基于该特点对指标将来的终点进行初步预测。

候选轨迹天生？榛谠げ獾玫降闹盏，天生一系列候选轨迹。为了天生多模态个性的候选轨迹集，我们提出两种候选轨迹天生步骤：基于单个终点的候选轨迹天生、基于多个意图的候选轨迹天生。为了减幼轨迹的搜多空间，我们将轨迹建模为三次曲线，通过天生曲线簇来天生候选轨迹集中
；诘ジ鲋盏愕暮蜓」旒Ｌ焐街枰栽げ獾玫降闹盏阄行奶焐桓龉潭ù笥椎耐，通过遍历网格的中心天生M个可能的终点。为了天生分歧弯曲水平的候选轨迹，基于每个可能的终点，天生N个节造点。最终将M个可能终点与N个节造点两两组合，并结合汗青轨迹点，通过三次曲线拟合的步骤，我们能够得到MxN个候选轨迹，如下左图示（橙色实线为候选轨迹）
；诙喔鲆馔嫉暮蜓」旒Ｌ焐蛘攵灾副甑牟辉蕹赏，天生分歧的终点，而后利用基于单个终点的候选轨迹天生天生分歧的候选轨迹集中。以车辆预测为例，Argoverse数据集提供了车辆分歧的可能行驶路线(参考线)，我们针对每条参考线预测出分歧终点并天生对应候选轨迹，如下右图示（绿色虚线为参考线）。

在训练阶段，分类？槔煤蜓」旒Ｓ胝嬷倒旒５木染嗬牖终貉，均匀距离幼于阈值的作为正样本，其余作为潜在负样本。均匀距离推算公式如下:

其中 , 别离为将来预测功夫点对应真值轨迹点坐标与候选轨迹点坐标。通过对潜在负样本进行均匀采样，保障正负样本比例为1:3确定负样本。

对于所有正样本及部门随机采样的负样本，轨迹建改？槎院蜓」旒５闹盏慵敖谠斓憬薪ǜ，建改公式界说为：

其中与为候选轨迹终点坐标与真值终点坐标的误差，为节造的参数与真值的误差。

最后对于不在可行驶区域的候选轨迹与预测轨迹，我们提出使用如下高斯衰减对其分类相信度进行衰减:

其中为预测轨迹点不在可行驶区域内的比例，为高斯衰减系数。最终TPNet输出分类相信度最高的轨迹作为预测了局。

RSBG

我们提出的步骤RSBG如上图所示，能够被分成三个子？: 个别表征？，群体表征？楹徒饴肫。

1. 个别表征？槭怯美炊悦坑孜业暮骨嘈形椭芪Щ肪辰蟹治霰嗦Ｋ伎嫉饺死嘈形涤星昂蠊亓男灾，我们使用双向LSTM来提取行为特点
；使用CNN来提取环境特点。最后将两个拼接以得到个别表征向量。

2. 群体表征？橛美刺崛⌒腥酥涞墓叵。重要能够分为构建行为关系图和递归抽取两部门。首先，我们将整个场景中的所有行人的汗青轨迹信息输入到一个由MLP组成的关系天生器中，来分析每幼我两两之间的关系，关系强弱使用0-1来暗示。在训练过程中，我们使用标注好的行人组来对其进行监督，当两人处于统一组时，GT为1，反之为0。在得到两两行人之间的关系之后，我们将其看做边，并把行人的汗青轨？醋鼋诘，构建行为关系图。随后，GCN网络被用来递归地对该图进行分析整合，为每一个行人得到其群体表征向量。

3. 最后，我们将个别表征向量和群体表征向量进行融合，使用LSTM解码器来天生预测了局。

思考到使用常见的L2 Loss对机能分析指标之一的FDE优化有限，我们提出了Exponential L2 Loss来作为损失函数，该函数能够暗示为：

其中和暗示汗青轨迹，i暗示人的id，t暗示功夫点，γ为超参数，批示了每个预测点随着功夫变动沉要性的加强水平。

尝试了局

轨迹预测工作常用评价指标为终点预测误差(FDE)、均匀轨迹预测点预测误差(ADE)。我们还使用了以下评估指标:

1.minFDE: 对于N个预测轨迹，选择终点预测误差最幼的作为评估了局

2.minADE：对于N个预测轨迹，选择均匀轨迹预测点预测误差最幼的作为评估了局

3.DAC: 预测满足可行驶区域水平

TPNet在多个轨迹预测数据集上进行了尝试: ETH、UCY、ApolloScape以及Argoverse，均获得了SOTA的成效。

通过下图可视化分析，我们能够看出TPNet能够输出多模态以及靠得住的预测了局。其中红色点为指标汗青轨迹，绿色点为真值轨迹，蓝色点为TPNet预测轨迹。

RSBG在盛行的ETH和UCY数据集上进行试验，并与多个框架进行比力。了局显示东升国际官网步骤在多个子数据集上均超过了之前的SOTA成就，并且从均匀上来看，ADE和FDE得到了11.1%和10.8%的提升。

从可视化分析来看，使用东升国际官网步骤之后，能够对人群之表态遇，追随，避让等行为都有一个越发合理的预测。

References

[1] Ming-Fang Chang, John W Lambert, Patsorn Sangkloy, Jagjeet Singh, Slawomir Bak, Andrew Hartnett, De Wang, Peter Carr, Simon Lucey, Deva Ramanan, and James Hays. Argoverse: 3d tracking and forecasting with rich maps. In Conference on Computer Vision and Pattern Recognition (CVPR), 2019.

[2] Stefano Pellegrini, Andreas Ess, Konrad Schindler, and Luc Van Gool. You’ll never walk alone: Modeling social behavior for multi-target tracking. In 2009 IEEE 12th International Conference on Computer Vision, pages 261–268. IEEE, 2009.

[3] Alon Lerner, Yiorgos Chrysanthou, and Dani Lischinski.Crowds by example. In Computer graphics forum, volume 26, pages 655–664. Wiley Online Library, 2007.

[4] Yuexin Ma, Xinge Zhu, Sibo Zhang, Ruigang Yang, Wenping Wang, and Dinesh Manocha. Traf?cpredict: Trajectory prediction for heterogeneous traf?c-agents. arXiv preprint arXiv:1811.02146, 2018.