一种有效的基于多信息融合的RGB-D场景识别方法

         因为缺乏RGB-D数据库和有效的RGB-D数据融合方法,RGB-D场景识别目前还是一个非常有挑战性的问题。本项工作研究对RGB-D场景识别性能产生影响的几个主要因素,包括RGB-D数据特征表示和场景中的物体表示方法。我们提出了一种有效的多信息融合方法,该方法主要有两个模块构成:基于物体检测的改进方法和基于多信息融合的分类方法。基于物体检测的改进方法利用RGB数据;多信息融合分类器则采用对RGB-D数据表示最优的特征配置。本工作在两个公开的数据库上验证了提出的方法:SUN RGB-D数据库和NYU Depth v2数据库。实验结果表明提出的特征融合方法非常有效,能够与目前最好的识别率相媲美。另外,本方法中使用的深度学习模型比目前最好的方法使用的模型包含的参数数量更少,因此需要更少的训练时间训练模型。

代码链接