近年来，神经网络量化被视为一种有效的模型压缩和加快伎俩，受到深度进建钻研人员的宽泛关注。近日，机械进建顶会 ICLR 2021 接管论文了局已经正式颁布，至少有 12 项工作展示了神经网络量化方向的有关进展。本文将介绍首个利用二值量化的步骤设计的高效点云深度进建模型 BiPointNet，这项钻研工作由北京航空航天大学刘祥龙教授团队、东升国际官网新加坡钻研团队和加州大学圣迭戈分校共同实现。

随着点云利用的不休演进，用于点云的深度进建模型必要被部署在各类离线边缘场景，如自动驾驶设备和手持移动设备等，这给模型的推理、存储、传输等环节带来了巨大挑战。若何让点云模型在边缘设备上“又轻又快”，是工业界和学术界共同关注的沉要问题。

东升国际官网文章旨在解决边缘设备上运行点云利用时的资源限度问题，并提出了第一个点云深度进建二值化模型 BiPointNet。BiPointNet 的正确率阐发险些能够媲美全精度网络，并在边缘设备上带来了14.7 倍的超高加快比和 18.9 倍的存储节俭，从模型量化的视角打开了点云模型硬件部署优化的新思路。

Part 1 布景及概述

随着深度神经网络模型可能直接处置原始点云数据，点云进建已经获得了很大的进展。在现实利用场景下，这类网络极度必要实时交互和急剧响应，例如自动驾驶和加强现实等。但是，它们的部署环境通常是一些资源受限的边缘设备。只管钻研者们已经提出了诸如 Grid-GCN，RandLA-Net 和 PointVoxel 之类的新鲜的算法来加快点云网络的处置，但是它们还是依赖于昂贵的浮点运算。模型二值化步骤受益于轻量的二值化参数和高效的按位操作，已成为最有远景的模型压缩加快步骤之一，但是由于 2D 图像和 3D 点云之间的底子性差距，现有的二值化步骤无法被直接迁徙到 3D 点云网络中。

在本文中，我们提出了 BiPointNet，将全精度的点云网络转换成高效且正确的二值化模型 (整体框架图见图 1)。我们钻研了二值化特点的信息熵和点云聚合函数的阐发之间的关系：为相识决聚合后的二值化特点存在同质化的问题，提出了熵最大化聚合函数 (Entropy-Maximizing Aggregation，EMA)；提出了逐层尺度复原 (Layer-wise Scale Recovery，LSR) 以有效地复原输出的尺度，并使得尺度敏感的结构能够正常运作。

图 1: BiPointNet 的整体框架图

Part 2 步骤

点云非结构化（unstructured）的特点导致多层感知机是网络中最常见的结构，而二值化模型蕴含的是二值化的多层感知机，可能对轻量级的二值化权沉和激活执行高效的位运算操作 (XNOR 和 Bitcount) ：

其中，和代表二值化激活与权沉，暗示基于位运算的向量内积。

2.2 熵最大化聚合函数

东升国际官网钻研批注，由于严沉的同质化景象，聚合函数是二值化的一个机能瓶颈。

梦想情况下，二值化张量 B 应该尽可能多地保留原始张量 Y 所蕴含的信息。而当最大池化层的输入呈随机散布时，二值化输出的信息熵随着聚合元素数量n趋近于无限大而趋向于0。由于点的数量通常较大 (如ModelNet40 的分类工作的n为 1024 )，这导致不论输入池化层的特点若何，其输出特点总是高度类似的，如图 2 所示。2D 视觉中聚合函数通常用较幼的核(ResNet 和 VGG-Net 中使用  的池化核)，问题并不严沉。因而，我们必要一类可能使 B 的信息熵最大化的聚合函数，以预防聚合引起的特点同质化问题。

图 2: 聚合引起的特点同质化问题

其中  暗示聚合函数 (例如最大池化和均匀池化)，  暗示变换单元，能够有多种大局，我们发现最单一的常数偏移已经极度有效。这个偏移将输入进行移位运算以最大化二值化特点 B 的信息熵。BiPointNet 中的变换单元  能够被界说为 。当   暗示最大池化时，指标函数的解与无关，从而躲避了在点云利用中聚合元素数量 n 过大造成的特点同质化问题。

2.3 One-Scale-Fits-All: 逐层尺度复原

在本节，我们论述并解决了二值化会导致特点尺度失真的问题。

我们发现，当信息熵取到最大值时，输出特点的尺杜纂特点通路数直接有关，因而造成尺度的不合理放大，即尺度失真。尺度失真使得一些为 3D 深度进建设计的对尺度较为敏感的结构失效（见图 3），还导致前向传布时的激活和后向传布时的梯度趋于鼓和。

图 3: 尺度失真

为了复原输出的尺度和调整能力，我们提出在 BiPointNet 的二值线性层中利用 LSR。我们设计了一个可进建的逐层尺度复原因子 ，并通过二值线性层和全精度的输出之间的尺度差来初始化:

其中，暗示尺度差。并且在训练过程中是可进建的。拥有 LSR 的二值线性层的推算步骤如下:

其中，和别离暗示 a 和 z 的梯度。通过在 BiPointNet 中利用 LSR，我们缓解了由于二值化导致输出尺度失真的问题。

Part 3 尝试

东升国际官网尝试讲了然 BiPointNet 在点云进建上的壮大机能，部门设置下甚至媲美全精度模型。

表 1 中了局批注，同时使用EMA和LSR能够显著缩幼二值化模型和全精度模型之间的机能差距；在表 2 中，我们展示了 BiPointNet 优于其他二值化步骤；表 3 展示了在几种主流的点云深度进建模型中获得的提升。

表 1: BiPointNet 在 ModelNet40 (分类)、

ShapeNet Parts (零件宰割)、S3DIS (语义宰割) 上的消融尝试

表 2: 基于 PointNet 的二值化步骤对比

表 3: 在主流骨干网络上利用东升国际官网步骤

为了验证 BiPointNet 在真实世界的边缘设备上的高效性，我们还将其部署在ARM CPU Cortex-A72 和Cortex-A53 的树莓派上。只管PointNet 已经是现有模型中公认的急剧、轻量模型，BiPointNet依然带来了14.7倍的推理加快和18.9倍的存储节俭。

图 5: (a) 耗时对比；(b) 存储使用对比；(c) 分歧二值化规划速度和正确率的关系散点图