我校机器人与人工智能实验室博士生周立广及本科生檀新阳(导师为徐扬生教授及林天麟教授)于国际顶尖机器人会议IROS的Lifelong Robotic Vision Challenge竞赛中击败了众多国际参赛队伍，并获得了Finalist Award。其他参赛队伍分别来自麻省理工、帝国理工、清华大学、香港科技大学、北京大学等知名院校。

IEEE智能机器人与系统国际会议（IROS）是智能机器人与自动化领域的两个顶级国际会议之一，每一届IROS会议及其展会的举办都获得了极大的成功，对相关领域的技术发展起到了重要的促进作用。IROS2019是IROS第32届会议，由全球最大的非营利性专业技术学会IEEE、IEEE机器人与自动化学会、IEEE工业电子学会、日本机器人学会、仪器与控制工程师学会以及新技术基金会联合赞助。届时，约4000名来自世界各地的机器人、自动化系统及人工智能等领域的领军人物、顶尖研究团队代表及企业界人士将齐聚澳门，襄此盛会，共同探索智能机器人与系统领域的前沿科技，分享并讨论相关领域的最新进展。会议包括主题演讲、技术报告、研讨会、竞赛、论坛和展览等部分。终生机器视觉数据集全球挑战赛属于IROS 2019竞赛环节。

赛 事 介 绍

机器人和人工智能最热门领域的顶级国际赛事

聚焦机器视觉前沿领域，旨在通过比赛探索，赋予AI终生学习能力。

人类：持续从环境和经验中学习知识和技能

机器人：需要终生学习能力以适应变化的环境和任务

计算机视觉：从预先建好的数据集中一次性学习

近年来，如ImageNet和COCO等大型数据集的新进展使得基于深度学习的计算机视觉技术显著提高。目前基于大量数据集的物体检测，分割和识别的计算机视觉应用也在智能家居、安防、工业检测等领域做出了突出的贡献。然而，机器人视觉对于视觉算法的开发和落地提出了新的挑战。计算机视觉算法隐含地对数据进行了独立同分布的假设，比如固定的类别，和单一简单的任务。很明显，真实环境的语义概念会随着时间的推移而动态变化。在实际应用的场景中，机器人需要长时间持续运行在可变的环境中，这就需要机器人拥有终身学习的能力去适应环境的改变。


 

Lifelong learning

持续学习增加新知识

以往的工作往往基于大量数据集得到预训练的模型，再根据具体应用的数据集进行微调或者重新训练。但是最终得到的模型往往会遗忘之前已经学习到的模式（例如对之前任务的识别）。这种现象在深度学习中叫做“灾难性遗忘”。对于机器人面对动态的场景，重新训练已经部署的模型是很有必要的，这就需要模型具有真正的记忆能力，能够有效的克服灾难性遗忘的缺陷，在学习新知识的时候不要忘记旧的知识。 

OpenLORIS-Object

数据集介绍和已有数据集的对比

OpenLORIS-Object数据集旨在加速终身/持续/增量学习的研究和应用，目前致力于改善持续性学习家庭场景中常见对象的能力。数据在办公室和家庭环境中获取数据，通过机器人主动记录目标对象的视频在不同光照、遮挡、相机对象距离/角度、杂乱程度，以及不同的场景信息。

• 光照：在实际应用中，照明会随时间变化很大，例如昼夜差异。我们的数据集主要是从正常的日光收集的，包括弱光和强光，每个占每个场景下物体的10％。随着灯光变弱，任务变得更具挑战性。
• 遮挡：当一个对象的一部分被一个或多个对象隐藏，或者在视场中仅显示该对象的一部分时，发生遮挡。由于可能隐藏了对象的独特特征，因此遮挡使分类任务更具挑战性。
• 相机对象角度/距离：摄像机的角度会影响从对象检测到的属性，距离会影响目标物体的大小。
• 杂乱程度：是指在考虑的对象附近存在其他对象。同时存在多个对象可能会干扰分类任务。
• 场景信息：环境信息是学习过程中的另一个因素，例如在厨房的场景下可以提高刀、炊具等物体的识别能力。先前的大多数研究都忽略了场景信息对于上下文识别的重要性。

学 生 感 想

       图1：周立广同学在介绍自己的竞赛方法

      周立广（博士三年级）：我认为终身学习是在机器人领域需要解决的关键问题。我们现有的机器人已经能够使用基于深度学习的算法进行目标识别执行任务。比如我们做的能够在仓库里进行自动抓取的机器人，通过结合基于深度学习的目标识别技术和机械臂的规划感知技术来进行无人抓取。在目标识别的过程中需要收集大量数据集进行训练，并且训练的过程比较漫长，同时会消耗许多计算资源。如果需要识别新的物体，我们需要采集新的数据集，并和旧的数据集合并，再重新进行训练，这个方法会浪费很多计算资源。Lifelong Learning希望机器人只学习新的数据集时候，同时保留对旧任务的识别能力。在经过文献调研和算法分析之后，我找徐教授和林教授讨论了这个问题的重要性，他们提供了很好的建议，并鼓励我研究这个问题。因此，我和实验室的本科生檀新阳组队报名参加了比赛，我们分析当前的前沿的方法，并挑选两种方法进行实现。一种是基于单模型的方法，Elastic Weights Consolidation (EwC)，通过Fisher Information Matrix来衡量神经网络中每个参数对于之前任务的重要程度，对重要度高的参数减少变化，从而实现神经网络的记忆保留。但是，我们发现这方法并不能很好的适用于此数据集及不容易实现很好的采样。因此，我们把重心转移到实现动态/可拓展神经网络上面。其中的一个典型方法是Learning without Forgetting (LwF), 该方法将神经网络参数分为三部分，共享参数 ，对于旧任务的参数，和对于新任务的参数 。通过扩展神经网络，同时对于旧任务学到的知识进行知识蒸馏，该方法能够更多的保留旧任务的记忆。在会议期间，我们发现效果好的队伍都用了基于LwF改进的方法，这验证了我们的判断。

图2：IROS官方颁布的证书

图3：获奖队伍合影