返回- 主题技术
- 以原创技术系统为根基，SenseCore东升国际官网AI大装置为主题基座，布局多领域、多方向前沿钻研，
急剧买通AI在各个垂直场景中的利用，向行业赋能。
CVPR 2021 | ShapeInversion: 基于GAN逆映射的无监督点云补全步骤
在CVPR 2021上，东升国际官网科技-南洋理工大学结合 AI 钻研中心 S-Lab 提出了基于GAN逆映射的无监督点云补全步骤：ShapeInversion。与已有的全监督步骤相比，ShapeInversion初次将天生匹敌网络(GAN)逆映射引入到点云补全中。利用GAN提供的先验知识，ShapeInversion不仅在已有的基线上媲美多多有监督步骤，还展示了显著的泛化能力，对真实世界的残破扫描和各类大局的残破输入以及不齐全水平给出了鲁棒的了局。同时，ShapeInversion提供一系列额表的职能，例如对有歧义的残弊端云提供合理的多解，以及对给定齐全点云的编纂。
论文名称: Unsupervised 3D Shape Completion through GAN Inversion
Part 1 问题和挑战
点云补全工作是基于一个物体的残弊端云估计物体的齐全状态。点云补全对诸多下游工作至关沉要，例如三维场景理解，机械人导航等。大无数点云补全步骤在很大水平上依赖于成对的残破-齐全点云，并以全监督方式进前进建。只管它们在域内数据上的阐发令人印象深刻，但泛化到其他大局的残弊端云或现实世界的残破扫描时，由于域的差距（如下图a-d），往往无法获得令人中意的了局。另表，给定一个残弊端云，这些训练步骤往往只输出唯一的齐全点云，即便该残弊端云可能对应多个合理的齐全状态（如下图e）。
Part 2 步骤介绍
针对以上提出的问题，我们提出了一个新鲜的框架ShapeInversion, 初次在点云补全工作中引入GAN逆映射。该步骤充分利用预训练的GAN中的先验知识，并且不受残弊端云的域影响。如下图所示，一个潜码通过预训练的GAN天生一个齐全点云，再通过一个三维降采样？镸转化为一个残弊端云，进而与输入的残弊端云推算损失函数。该框架利用梯度降落的步骤反传损失函数来更新潜码并且微调预训练的GAN，从而使天生的齐全点云与输入的残弊端云在课间部门最靠近。
该框架成功点关键在于若何应对3D数据固有的个性所带来的挑战：
1. 提高点云均匀度- PatchVariance
动机：分歧于2D图片里固定的像素地位，3D点云数据拥有极其非结构化的个性。因而，GAN天生的点云往往拥有很差的均匀度，即点云不能均匀的散布在物体表表上。这种不均匀性可能引起一些浮泛，进而影响点云的齐全性。
步骤：
我们提出一个新的均匀度损失函数，PatchVariance，用来GAN 预训练阶段提高点云的均匀度：我们在物体表表上随机拔取n个点，利用k邻近形成n个patch，再推算这n个patch密度的方差作为损失函数。
以tree-GAN为例，如下图所示，PatchVariance能够有效的提高天生点云的均匀度，从而得到更高质量的点云。
2. k-Mask – 三维的降采样？
动机：
类比GAN逆映射在2D 图像建复工作中的利用，我们必要一个降采样的mask把天生的齐全点云转化成与输入点云对应的残弊端云。然而，点云不规定和无序的个性使得点云补全工作与图像建复有显著区别。在2D 图片建复中，图片之间的像素对应关系不言而喻，所以我们能够很容易推算出可见部门的损失函数。而在点云补全工作中，得到两个点云的之间点的对应关系通常比力难题，由于两个物体的对应区域很有可能处在三维空间中的分歧地位，这给三维中的降采样？樵龀ち颂粽。另表，这种对应关系往往比力吞吐，并且因分歧点云而异。
步骤：
我们因而提出了k-Mask来动态的获得输入的残弊端云和肆意输出的齐全点云的对应关系。具体而言，对于残弊端云中的每一个点，我们利用欧几里得距离找到该点在给定齐全点云中的k个对应点—来解决点对应关系吞吐的问题。由此，残弊端云中所有点的k个对应点的合集就组成了与输入残弊端云对应的输出残弊端云：
如下图所示，对比基于预设阈值的基线步骤， 如voxel-Mask和 t-mask, k-Mask能够提供精确而鲁棒的三维降采样。
Part 3 尝试了局
ShapeInversion在多多场景下却的了杰出的阐发。
首先，在ShapeNet基准上，ShapeInversion优于SOTA无监督步骤，并可与用配对数据进建的有监督步骤相媲美，如下表所示：
第二， ShapeInversion在真实世界的数据和多种残破的大局下阐发了很好的泛化能力。如下图暗示的真实世界下的了局：
第三，当输入物体太过残破因而产生不确定性，ShapeInversion能够提供多解，并且保障每个解都合理的反映残破物体的可见部门：
第四，由于GAN的引入，ShapeInversion 可能很好的实现对已知点云状态的编纂，如下面两图的扰动和差值：
Part 4 总结
在本文中，我们提供了点云补全的无监督新框架ShapeInversion。该框架可能充分利用预训练中GAN的先验知识，并在多种残弊端云的域，蕴含真实残弊端云下获得令人中意的成效和泛化能力。由于预训练GAN的参加，ShapeInversion天然地实现了一系列额表的能力，例如为一个歧义的残破输入产生多个合理的齐全点云，以及对给定齐全点云的编纂。
Part 5 作者介绍
张俊哲，新加坡南洋理工大学 S-Lab 和 MMLab@NTU 三年级博士生。师从吕健勤 (Chen Change Loy) 副教授和 Chai Kiat Yeo 副教授。当前重要钻研兴致蕴含三维沉建和天生，点云补全等。
幼我主页：https://junzhezhang.github.io/
项目主页
https://junzhezhang.github.io/projects/ShapeInversion/
arXiv
https://arxiv.org/abs/2104.13366
代码地址
https://github.com/junzhezhang/shape-inversion
尝试室主页
https://www.mmlab-ntu.com/
欢迎有兴致实习/深造的学生关注官网，联系NTU@MMLab~
