点云补满是3D感知中的一个沉要并且基础的工作
，它旨在基于扫描得到的单方面且不齐全的点云状态预测和复原齐全的3D模型。现实生涯中
，由于遮挡等问题造成只能观察到残破的点云状态
，而好多工作很依赖感知到齐全的3D状态。好比
，抓取机械人必要相识齐全的物体状态以稳妥地抓取物体。此表
，齐全的点云状态还有助于深度进建对3D物体的语义感知和检测。点云补全问题约莫能够分为以下三个档次：

1. 点云补全必要能感知并区别分歧但类似的点云状态 （辨识）

2. 点云补全必要能从结构关系上分析和理解点云状态 （揣度）

3. 点云补全必要对齐全点云状态有肯定的先验知识 （天生）

3D深度进建的发展使得点云补全也获得了显著的进展。然而
，好多现有的步骤都只停顿在“辨识”层面上
，也就是能够从已知的状态中获取与单方面观测最类似的状态５
，新补全的部门和观测到的部门之间短缺关系约束
，并且对进建中未见过的新状态短缺推理和天生的能力
，甚至难以保留已观测到的状态细节特点。 

鉴于此
，我们提出了一个新鲜并且综合性的点云补全网络（VRCNet
，如Fig. 2所示）。它由概率模型网络（PMNet）和关系加强网络（RENet）两个子网络级联组成。首先
，PMNet基于残弊端云天生一个粗略的点云状态框架
，而后再由RENet结合前阶段天生的粗略框架和残弊端云观测
，揣摩拥有有关性的结构
，以实现最后天生点云细节特点的加强。

Figure 2 VRCNet网络架构：PMNet（浅蓝色）和RENet（浅黄色
，细节见Figure 4）

1. 概率模型网络（PMNet）

动机：

由于点云的状态残破
，也导致了其空间散布上的网格缺失
，从而影响了全局意思上部门状态细节的天生。为了缓解和预防这个问题
，我么提出并设计了PMNet
，旨在先从点云的全局特点和散布启程
，先天生一个粗略的全局点云框架结构
，再以此辅助其状态细节加强。

步骤：

PMNet（如Fig. 2浅蓝色框所示） 是一个双通路的网络架构
，蕴含一个沉建通路和一个补全通路。沉建通路对齐全的点云状态做自编码和解码以复原齐全状态
，而补全通路通过类似的网络做编码和解码以补全齐全状态。两个通路间有多个共享？。在训练时
，沉建通路在网络梯度和状态散布两个层面上疏导补全通路的进建和收敛。在测试时
，沉建通路不再使用
，网络只输入残弊端云。

训练时使用到的损失函数如下:

其中暗示沉建通路的损失函数
，而代表的是补全通路的损失函数。这里代表对应函数的进展
，是对应数据的真实散布
，X 是残弊端云
，Y 是齐全点云
，KL 代表 Kullback–Leibler 散度。沉建通路和补全通路的损失函数都蕴含有两个部门：1）散布之间的散度比力；2）天生的状态与真实数据状态的比力。分歧的是
，沉建通路的编码散布向先验的高斯散布靠近
，而补全通路的编码散布向沉建通路的编码散布靠近。

2. 关系加强网络（RENet）

动机：

通过PMNet
，我们编码天生了粗略的点云状态框架
，但是短缺了好多细节信息。梦想的点云补全不仅该当能保留观测到的点云细节信息
，还该当凭据关联性的结构（好比
，人造物体的对称
，阵列
，以及光滑表表）揣摩未知的点云的细部特点。因而
，我们综合思考天生的粗略点云状态框架和残弊端云
，以进一步加强天生齐全点云的细节特点。启发于2D图像中基于自把稳力的操作能够有效进建图像特点的关联
，我们也致力于索求各类基于自把稳力的操作对于点云特点的进建。

步骤：

基于提出的多个新鲜且强力的点云进建？
，诸如PSA
，PSK和R-PSK？椋鸉ig. 3）
，我们构建了 RENet（Fig. 4）网络架构。PSA？槔玫阍频淖园盐攘
，自适应地进建点云部门邻近点之间的关联。PSK？橥ü⒘喔龇制绯叨鹊PSA？
，能够自适应地拔取由分歧尺度感触野编码得到的特点。此表
，通过额表增长的残差链接
，我们得到最终的R-PSK？
，而它是RENet的根基运算块。

Figure 3 RENet中使用到的各个基于关系的点云特点进建？

各个点云？榈木咛逶怂悖

● PSA？榈木咛逶怂阏故居诠剑3）和公式（4）中。其中
，代表点所有搜索到的 K-NN 邻近点的特点
，
，
，和都代表了线性变换运算
，而代表了特点向量的链接操作（concatenation）。

● PSK？榈脑怂隳芄挥霉剑5）表述。其中和是由两个分歧尺度的PSA？楸嗦氲玫降牡阍铺氐；W
，A 和 B
，是预测的权沉矩阵；是全衔接层；V 是最后融合得到的点云特点。

Figure 4 RENet的具体网络架构

基于我们构建的多种？
，我们沿用U-Net[1]的思路搭建起多层级的RENet网络。 此表
，RENet还使用了EFE[2]？橐灾С侄嘀址直媛实钠肴阍铺焐。

3. 损失函数

损失函数重要有三个部门：沉建通路损失函数 
，补全通路损失函数和关系加强网络的损失函数。和都蕴含两个损失函数项：公式（6）中的Kullback–Leibler（KL）散度项和公式（7）中的 Chamfer Distance （CD）损失函数；只蕴含CD损失函数。因而
，整体的损失函数界说如公式（8）所示
，其中 
，和是对应的权沉参数。

动机：

为了成立一个更统一并且综合性的残弊端云数据集
，我们天生了MVP数据集。对比之前的残弊端云数据集
，好比PCN[3]和C3D[4]
，MVP有好多吸引人的个性（见Table 1）。

Figure 5 MVP数据集数据天生和质量对比

重要利益：

MVP重要的利益有：1）均匀散布的虚构相机视角产生了多样化的残弊端云；2）更大数量和更高质量的点云数据；3）丰硕的点云种类。由Fig. 5(a)和Fig. 5(b)能够看出
，对于统一个齐全CAD飞机模型
，我们使用了26个均匀散布的虚构相机
，从而采集到丰硕且各别的高质量残破飞机点云。Fig. 5(c)对比了分歧分辨率下天生的残弊端云质量
，MVP 使用高分辨率也获得了更高质量的残弊端云。分歧采样步骤天生的齐全点云质量对比展示在Fig. 5(d)中。相比力之前步骤使用的均匀采样（US）
，MVP使用的泊松采样（PDS）天生炼高质量的齐全点云。

1. 点云补全了局质量对比

Fig. 6是在 MVP 数据集上的分歧步骤点云补全的成效图对比。VRCNet的了局相比力之前的点云补全步骤重要有两方面的优势：1）能够天生更均匀和光滑散布的高质量齐全点云；2）能够有效地捉拿到关联性结构并对缺失部门实现合理的天生和补全。

Figure 6 分歧步骤在MVP数据集上的点云补全了局展示

2. 真实点云补全了局展示

我们进一步在现实采集到的残弊端云上检验VRCNet的补全能力。在Fig. 7 中
，残破的汽车点云源于 Kitti数据集（激光雷达采集）
，而残破的桌子和椅子点云源于ScanNet数据集（深度相机采集）
，它们都没有对应的齐全的点云。VRCNet通过进建和预测多种对称性
，能够较好地天生高质量的齐全点云。

Figure 7 在现实采集的残弊端云的补全成效对比

3. 点云补全了局数值对比

与之前提出的步骤对比
，VRCNet在MVP(见 Table 4)和C3D(见 Table 3)数据集上获得更优的阐发
，并有着显著的提升。分歧的分辨率下的点云补全尝试(见 Table 2) 进一步彰显出VRCNet的优越性。

在本文中
，我们提出了VRCNet
，一个变分关联性点云补全网络。VRCNet能够通过进建关联性结构来预测齐全点云。此表
，我们还提出了多个新鲜并且强力的基于自把稳力的点云进建？
，如PSA和PSK
，它们也能够很便捷地被使用到其他的点云进建工作中。出格地
，我们贡献了一个大规模的点云数据集MVP
，能够利用于多个点云进建工作
，好比残弊端云分类和配准。我们强烈推荐钻研人员在后续的点云钻研中尝试我们提出的点云进建？楹褪菁。