由于AR/VR、机械人、自动驾驶、智能手机蹬爪用的鼓起，其中的关键技术SLAM(同时定位与地图构建)近年来变得非；鹑。但由于不足相宜的基准(目前行业内常用的数据集评测尺度多限于跟踪精度)，还比力难从AR的角度来定量地评估各类SLAM系统的机能。

为了添补这一领域空缺，东升国际官网科技和浙江大学结合颁布了首个面向AR的单目视觉惯性SLAM数据集和评测尺度，可能更全面地覆盖移动AR环境下的场景，构建了蕴含跟踪精度、初始化质量、跟踪不变性和沉定位功夫等方面的更全面的评测尺度，对SLAM算法钻研有沉要的领导意思。

近日，东升国际官网君采访了该数据集和基准项目掌管人、“浙江大学-东升国际官网三维视觉结合尝试室”副主任章国锋教授，深刻探求了这个数据集和基准的优势和行业意思。另表，浙江大学-东升国际官网三维视觉结合尝试室也是东升国际官网产学研一体化发展的很好例子，章国锋教授也分享了对产学研一体化的深刻体味，以及十几年的钻研心得和对5G时期SLAM技术发展趋向的独到见解。

数据集解读

Q(东升国际官网君)：这次数据集是针对单目视觉惯性SLAM场景，以来会做针对多主张数据集么?

A(章国锋)：我们以来会支持更多的传感器，蕴含双目、RGB-D等。我们打算逐步地去美满这个数据集和基准，不仅支持更多的传感器类型，并且场景尺度会更大。此刻重要是室内的场景，将来将会扩大到室表场景。

Q：目前这套SLAM评测数据集和基准重要利用于学术钻研，还是产业界利用呢?

A：目前重要还是利用于学术钻研，但对产业界利用也有领导意思。其实好多领域都有类似的基准。东升国际官网基准提供了一个沉要的评价凭据，相信对面向AR利用的SLAM钻研会起到一个比力沉要的推作为用。当然，对于产业界来说，这次钻研成就可以为OEM厂商、APP开发商和算法开发商带来多维度的评估数据，明确AR利用中会影响用户履历的主题身分，为产品的部署和最终的利用提供参考。

Q：东升国际官网测试是否有一个精度的级别跟利用的场景级此外匹配关系?好比说达到一个什么样的精度可能合用于什么样的场景?将来会有这样一个评级的方向吗?

A：这个数据集目前只针对室内场景，室表大场景临时还不能评测。对于精度匹配利用场景的问题，若是针对室内这种幼场景，东升国际官网数据集根基上可能评测是否满足某些AR利用。我们也在打算将来将这个数据集进一步扩大到室表大尺度场景，这样也能评测SLAM系统是否能满足室表大尺度场景的AR利用。

室内场景下的视觉惯性SLAM

Q：这个数据集相对于其他数据集的主题优势是什么?

A：首先是数据起源分歧。很无数据集是在无人机或者车载情况下录的，活动比力安稳，而东升国际官网数据都是用手机录的，蕴含急剧活动、强旋转、遮挡滋扰、弱纹理等复杂情况下的数据。所以从数据自身来说，就是针对移动设备上的AR利用。

其次，我们针对AR利用造订了新的基准，这个也是以前没有的。以前的基准重要是评测跟踪定位的精度，并且数据的活动类型偏单一。我们不仅进一步美满了定位精度的指标，并且还凭据AR利用的特点增长了初始化质量、跟踪不变性和沉定位功夫等指标，并凭据分歧活动状态和场景环境组成了16种特定的AR测试场景。这个数据集和基准不仅能反映定位精度，还能对初始化和沉定位机能以及鲁棒性进行量化出现，这对AR极度沉要。

Q：这个基准若何反映初始化和沉定位机能以及鲁棒性?

A：由于AR利用对于初始化的功夫和质量有比力高的要求，通常要求很短的功夫实现初始化，并且初始化后的尺度精度要求比力高。因而我们专门设立了初始化质量这个指标，将初始化功夫和初始估计的尺度精度综合起来思考，可能反映现实AR利用的要求。

在沉定位方面，我们专门设计了3个序列，有意在原始拍摄的图像序列里将一部门图像代替成了玄色图像，从而让SLAM系统进入跟踪迷失状态触发沉定位。跟踪鲁棒性方面，我们也专门选了三种极度有挑战性的情况：急剧活动、移动物体、相机遮挡，并从跟踪迷失功夫、沉定位误差和绝对地位误差这三方面来综合评估SLAM系统的跟踪鲁棒性。

Q：颁布这个数据集和基准对推动行业发展有哪些意思?

A：首先是学术意思，这是一个学术界内新的SLAM数据集和基准，尤其对于面向AR的SLAM钻研来说，意思还是比力沉大的，由于之前没有专门针对AR的公开基准。

另表，对做SLAM算法钻研的人来讲也会有领导意思，以前各人可能感触只有跟踪定位精度高就够了，但此刻会心识到，对于AR利用来说，还要思考一些异常情况和极度有挑战情况下的鲁棒性，以及初始化的速度和精度。有了这个数据集和基准，他们能够定量地评测所研发的VSLAM/VISLAM算法在AR利用方面的机能，至少有了比力客观的评估凭据。

此表，这个数据集和基准也会给蕴含OEM厂商、利用商和算法开发商一个概想：评估SLAM机能并不是只有跟踪精度这一个指标，针对AR利用还有初始化质量、跟踪鲁棒性和沉定位功夫等更多指标，能力比力全面地评估一个SLAM系统在AR利用方面的机能。

产学研产生1+1大于2的成效

Q：东升国际官网很器沉产学研一体化，浙大-东升国际官网三维视觉结合尝试室就是一个很好的例子，作为尝试室掌管人，想必您肯定对于产学研一体化有更深的体味。

A：我是这么看的，企业通常有很强的工程开发和产品开发能力，但科研创新和钻研能力方面可能并不强。当然，东升国际官网是比力自成一家的，这也是东升国际官网可能得以脱颖而出的一个关键成分。

高校的钻研团队则往往相反，比力善于做前沿基础性和创新性的钻研，但工程开发能力通常比力弱。因而，高校和企业应该做各自善于的事件，并进行缜密合作，结合研发：高校的钻研团队重要做偏前沿索求性的钻研和提供技术领导，公司的研发团队重要掌管工程和产品化，双方可能时时一路互换会商，甚至一路工作，就会产生一个“化学反映”。产品要落地其实很不容易，仅靠学堂的钻研团队是不现实的。高校和企业的缜密合作和结合研发，能够实现技术的急剧落地。

浙大—东升国际官网三维视觉结合尝试室成立的初衷就是为了很好地解决产学研一体化的问题。在结合尝试室，教员、学生和钻研员、工程师们能够一路工作，又有分工;教员重要提供理论和技术领导，学生重要做一些偏前沿索求性的钻研和原型验证，而钻研员、工程师则重要索求短期内有落地可能的技术以及产品化方面的研发工作。

双方缜密共同，出成就就会比力快，可能达到1+1大于2的成效。一些事实也证了然这一点。例如，我们和东升国际官网一路结合研发的SenseAR加强现实平台，已经成功地在OPPO、幼米的多款机型上落地，很好地支持了高德地图AR导航、王者庆幸AR相机、一路来捉妖、OPPO AR丈量等沉要利用。

产学研一体化也是催生这次SLAM数据集和基准的基础。正由于有产业界切实的尺度需要和利用经验，同时又有浙江大学和东升国际官网深厚的学术系统为基础，才诞生了这个数据集和基准。一个基准，不仅要有高校学术机构认可，还必要产业界的企业共同推动，能力满足整个行业生态的发展需要。

对峙专一于一点能力产生大的影响力

Q：能够分享您在做钻研方面的一些心得吗?

A：我从2004年起头做活动复原结构(跟VSLAM极度类似，区别仅在于它是离线，而VSLAM是在线的)方面的钻研，而后做VSLAM以及VISLAM，一向做到此刻有十几年了，还是有蛮多这方面的心得和体味。

总结起来，最主题的一点就是要持久对峙专一在一个点上。好比SLAM，你是不是能对峙做这么多年，是不是真的想把这个问题解决掉。若是抱着这样一个态度去做钻研，就能做得很深，甚至有可能某一无邪的比力彻底地解决这个问题。

举个例子，今年的图灵奖颁给了深度进建的三位教父Yoshua Bengio、Geoffrey Hinton和Yann LeCun，他们对峙做了几十年的神经网络钻研。我们看到人为智能领域这几年诞生了好多创业公司，也涌现出了很多成功的产品，这很大水平上也是得益于他们的卓越贡献。但在从前相当长的一段功夫里，他们的钻研工作是被忽视的，不被主流学术圈所认可的。

其实SLAM技术也不是这几年才有的，已经有几十年的汗青了。做钻研还是要对峙聚焦在某一个点上，不能打一枪换一个处所，不然你的工作不会有一连性，最终也不会产生多大的影响。

Q：若是遇到钻研上的难点，应该怎么应对?有什么步骤能够分享么?

A：既要专一，也要讲求步骤。当你带有很高的周到去做事件，注定会维持专一。对这个事件真正有兴致甚至有激情能力维持持久的专一力，这是底子地点。

另表就是要讲求步骤，好比调BUG，其实也有好多技巧，不能用最笨的步骤去做，那样效能注定不会高。不仅要自己斟酌新的步骤，不休思虑若何改进，还要多跟优良的人在一路，从优良的人那里直接学到有效的器材，而不是总要自己踩了好多坑能力学到一点器材，那样过程会慢好多。

Q：多跟比自己优良的人在一路，有时辰会得到更多的灵感。

A：没错。人比力容易被自己的经验和知识所局限，因而要多和优良的人在一路。他们之所以优良，注定是有他们的过人之处，你要发现到他们的过人之处，甚至能够学到这个过人之处，那你也许很快也能造成比力优良的人。

5G时期的SLAM和AR

Q：您怎么看SLAM将来几年的发展趋向?

A：SLAM技术凭据传感器类型的分歧能够分为VSLAM、VISLAM、RGB-D SLAM、LiDAR-SLAM等等。VSLAM若是从钻研的角度来讲，在理论上已经比力成熟了，所以此刻这个领域发论文已经挺难的。

我感触VSLAM将来的发展一个方向是结合深度进建，依附深度进建所学到的一些先验来解决传统算法难以解决的一些问题，这可能会带来一些新的突破。另表，多传感器信息融合，即将多种传感器信息融合起来进行优势互补，也是SLAM技术的一个发展方向。

其次是新的传感器的出现，容易带来算法上的改革。一个典型的例子就是Event Camera(动态视觉传感器)出来了之后，涌现出了好多有关的钻研工作和论文。

还有一个是SLAM技术的高度定造优化，是产品落地的关键。好比扫地机械人的SLAM、车载的SLAM、手机上的SLAM等等都不太一样，必要针对分歧场景做高度定造优化，才有可能使技术真正落地，拥有很强的竞争力。

Q：您感触5G会给SLAM和AR带来哪些新机缘?

A：5G若是真能达到梦想的超低延时、极高带宽，那么利用的设想空间会很大，大部门耗时的推算和重大的数据能够放在云上，好多问题就解决了。

但是我以为目前现实情况可能还没有那么梦想，首先低延时并没有那么容易解决，此刻号称延时幼于1毫秒，通常指的是空口延长，只占整个通讯系统延长的一幼部门。若是全数环节加起来，延时可能还是比力大的，必要各个环节的充分优化才有可能达到比力梦想的低延时。并且在人群密度很高的处所，若是各人在同时使用5G，高带宽也比力难保障。

当然即便目前5G技术还没有达到那么梦想，但只有能合理地利用，对于一些SLAM和AR利用也能起到很大推作为用。5G的到来注定会加快AR技术朝着云和端结合的趋向发展。即便目前5G技术在现实利用中还没有达到真正的超低延时，我们依然能够将一些推算量大但实时性要求不是出格高的优化推算放到云上，优化完之后再传回到移动终端上。具体地，像SLAM技术中的地图全局优化、浓密的三维几何沉建等，齐全能够放在云上推算，这样即便在推算机能比力差的低功耗移动设备上也能实现高保真的AR成效。

注：本次单目视觉惯性SLAM数据集和基准的有关论文已在线颁发在由中国科学出版社主办的面向虚构现实和智能硬件的专业性学术期刊《虚构现实与智能硬件》上，数据集、样例代码和相应的评测工具也已同步盛开在基准网站。