提要 · 看点

在 ISMAR 2021 上，东升国际官网钻研院和浙江大学 CAD&CG 国度沉点尝试室合作提出适应于挑战性场景下的视觉惯性里程计
。本工作首先基于深度进建设计了一个鲁棒的不依赖视觉的惯性活动跟踪网络，接着紧耦合视觉、IMU 和网络信息，提出了 RNIN-VIO 系统，在安卓手机上实现了整套规划
。离线数据集和在线 AR Demo 尝试批注该系统的精度和鲁棒性都优于现有步骤
。

RNIN-VIO: Robust Neural Inertial Navigation Aided Visual-Inertial Odometry in Challenging Scenes1

Danpeng Chen,^1,2  Nan Wang,²  Runsen Xu,¹  Weijian Xie,^1,2  Hujun Bao,¹  Guofeng Zhang^1* 

¹State Key Lab of CAD&CG, Zhejiang University  ²SenseTime Research and Tetras.AI

Part 1 论文动机

实时的高精度和鲁棒的 6DoF 活动跟踪是加强现实使用的关键技术之一
。固然现有的视觉惯性里程计只使用移动平台上消费级的相机和便宜的 IMU 就能获得比力高的活动跟踪精度和较优的鲁棒性，但是现有视觉惯性里程计依然依赖陆续靠得住的视觉跟踪，在挑战性场景（如弱纹理、沉复纹理、动态环境、急剧活动、蓝图等）下很容易失效
。

Part 2 创新点

1)  提出一个新的基于深度进建的惯性网络去进建人体活动法规；设计了相对和绝对损失，能让网络同时关注到部门精度和全局精度

2)  提出了紧耦合视觉、IMU、惯性网络丈量的多传感器融合里程计

Part 3 有关工作

目前与本文工作有关的里程计重要分为两种：视觉惯性里程计和深度进建的 IMU 里程计
。

1.  视觉惯性里程计

视觉惯性里程计能够分为基于滤波和基于优化的步骤
。滤波步骤的典型代表是 MSCKF[1]
。它使用多状态卡尔曼滤波融合视觉和 IMU 信息，且将视觉特点零空间化，推算量较低且精度较优
。SR-ISWF[2] 是另一种典型的滤波 VIO
。由于系统选取均方根的大局，它能够在确保数值不变情况下，使用单精度浮点去加快运算
。优化步骤典型代表有 OKVIS[3],VINS-Mono[4]
。他们使用优化步骤最幼化沉投影误差和预积分 IMU 误差
。只管这些步骤已经获得较优的精度和鲁棒性，但是在极端视觉场景下，他们依然容易失效
。

2.  深度进建的IMU里程计

这块重要工作有 IONet[5]，RoNIN[6]，TLIO[7]
。IONet 第一个提出使用 LSTM 网络直接回归固定窗口的相对位移和旋转
。RoNIN 假定旋转已知，用网络直接回归窗口均匀速度
。TLIO 将 RoNIN 网络改进成 3D 版本，并用 EKF 融合 IMU 丈量和网络丈量，获得更高的定位精度
。但是这些步骤都没有思考人类活动在时序上是陆续的且有显著的法规
。

Part 4 步骤描述

图1 系统框架

如图1所示，系统重要蕴含四部门
。预处置，初始化，惯性神经网络和融合滤波
。

预处置：从每帧图像上提取角点特点，并利用 KLT 进行陆续帧图像跟踪
。陆续两帧图像之间的 IMU 进行预积分处置
。同时我们守护一个 IMU Buffer 作为惯性神经网络的输入数据
。

初始化：为了让系统适应各类各样的活动，当系统检测到当前是静止时，选取静止初始化，若为活动，则选取活动初始化
。

惯性神经网络：惯性神经网络进建活动的先验散布
。网络选取一个部门窗口的 IMU 作为输入，在无需已知初始速度情况下，回归窗口的相对位移和不确定度
。不思考噪声情况下，同样的窗口 IMU 数据，分歧初速度对应分歧的活动，所以单纯靠 IMU 数据是无法估计具体活动的
。我们相信只管活动散布是极度辽阔的，但是人体活动散布应该是极度窄的，同样的 IMU 数据对应分歧的活动应该极度罕见
；谡飧鏊伎，我们相信网络能够进行合理的活动预测
。

融合滤波：滤波系统紧耦合视觉、IMU 和网络丈量信息
。其中视觉信息是能够被随时移除的，这样系统将造成纯 IMU 里程计
。

惯性神经网络

图2 惯性神经网络

图3 损失函数

我们设计一个惯性神经网络去进建人体活动在时序上的法规
。东升国际官网网络架构如图 2 所示，重要由 1D 版本的 ResNet18， LSTM 和全衔接层组成
。ResNet 网络用于进建人体某个作为的隐层特点
。我们以为人体活动是陆续滑润且有显著法规的
。所以我们使用 LSTM 融合当前作为的隐层特点和之前的隐层特点来估计当前作为最好的隐层特点
。最终使用全衔接层解码隐层特点，回归窗口相对位移和不确定度
。

损失函数如图 3 所示
。为了让网络能关注到部门精度和更长窗口的绝对精度，我们设计了相应的相对损失和绝对损失函数，后面尝试验证了损失函数的有效性
。

多传感器融合的6DoF跟踪

为了构建一个高鲁棒，高精度的视觉惯性里程计，我们尝试把鲁棒但低精度的惯性神经网络丈量整合到传统视觉惯性里程计中
。传统的视觉惯性里程计能估计精确的 IMU 状态(如位姿，速度，沉力方向，偏置等)
。通过这些精确的 IMU 状态能够对原始 IMU 数据进行预处置，给惯性网络提供更好的输入数据，提升网络估计的精度
。另表，更精确的网络估计，能反过来加强系统鲁棒性
。

视觉惯性里程计大部门
？楹痛 VIO 类似，这里不再赘述
。我们重要讲述惯性神经网络丈量能量函数部门
。这里有两点必要出格把稳，1、网络在 yaw 上是旋转等变性的；2、网络预测的功夫戳不愿定和估计状态的功夫戳是对齐的
。惯性神经网络观测能量函数为：

由于预测和估计的功夫戳不合齐，所以我们使用预积分去对齐功夫戳：

Part 5 尝试了局

我们将提出的步骤 RNIN-VIO 和下面步骤进行对比: (a) 3D-RoNIN[6], (b) TLIO[7], (c) Ours (wo AL) 是在我们提出的惯性神经网络基础上去掉绝对损失函数, (d) BVIO 是东升国际官网RNIN-VIO 系统去掉惯性神经网络丈量, (e) VINS-Mon
。

神经网络部门尝试

我们在开源的 IDOL[8] 数据上测试东升国际官网惯性神经网络步骤和现有步骤
。同现有步骤对比，我们步骤获得更高的绝对精度和相对精度
。惯性神经网络也能泛化到分歧人、分歧设备和分歧环境
。我们设计的相对损失和绝对损失有效提升网络整体精度
。

图4 测试数据集上累积密度函数

图 5 惯性神经网络估计轨迹图

表格 1 神经惯性网络精度对比

RNIN-VIO 尝试

我们用华为 Mate20 Pro 手机采集了多组室内表数据进行对比
。了局批注在正常场景下 RNIN-VIO 和 BVIO 精度靠近，而在挑战性场景下，RNIN-VIO 精度和鲁棒性显著好于 BVIO
。

表格2 RNIN-VIO精度对比

Reference:

[1] A.I.MourikisandS.I.Roumeliotis.Amulti-stateconstraintkalman filter for vision-aided inertialnavigation. In Proceedings of IEEE International Conference on Robotics and Automation, pp. 3565–3572. IEEE, 2007.

[2] K. Wu, A. Ahmed, G. A. Georgiou, and S. I. Roumeliotis. A square

root inverse filter for efficient vision-aided inertial navigation on mobile devices. In Robotics: Scienceand Systems, vol. 2, 2015.

[3] S. Leutenegger, S. Lynen, M. Bosse, R. Siegwart, and P. Furgale. Keyframe-based visual–inertialodometry using nonlinear optimization. The International Journal of Robotics Research, 34(3):314–334,2015.

[4] T. Qin, P. Li, and S. Shen. VINS-Mono: A robust and versatile monoc- ular visual-inertial stateestimator. IEEE Transactions on Robotics, 34(4):1004–1020, 2018.

[5] C. Chen, X. Lu, A. Markham, and N. Trigoni. IONet: Learning to cure the curse of drift in inertialodometry. In Proceedings of the AAAI Conference on Artificial Intelligence, vol. 32, 2018.

[6] S. Herath, H. Yan, and Y. Furukawa. RoNIN: Robust neural inertial navigation in the wild:Benchmark, evaluations, & new methods. In Proceedings of IEEE International Conference on Roboticsand Automation (ICRA), pp. 3146–3152. IEEE, 2020.

[7] W. Liu, D. Caruso, E. Ilg, J. Dong, A. I. Mourikis, K. Daniilidis, V. Kumar, and J. Engel. TLIO: Tightlearned inertial odometry. IEEE Robotics and Automation Letters, 5(4):5653–5660, 2020.

[8] S. Sun, D. Melamed, and K. Kitani. IDOL: Inertial Deep Orientation- Estimation and Localization.arXiv preprint arXiv:2102.04024, 2021.