基于人体动作分析的深度音乐推荐算法

        以人体动作为先验的音乐推荐算法虽然在自动视频编辑和自动作曲领域有很好的应用前景,目前关于这个问题的研究工作却很少。这项工作提出一种基于舞蹈动作分析的深度音乐推荐算法和一种音乐推荐算法的定量衡量方法。

        为了对提出的方法进行实验对比,我们还实现了一种基于LSTM-AE模型的音乐推荐方法,学习动作和音乐之间的对应关系。

        这项工作不但为音乐推荐算法提供了定性的实验结果,还提出了一种基于推荐音乐类别的量化衡量方法。

        实验结果显示基于动作分析的深度学习方法比基于LSTM-AE的方法效果推荐准确率高很多,利用舞蹈动作关节点和肢体特征可以达到91.3%的准确率。

        图1给出了基于舞蹈动作的音乐推荐方法的整体结构示意图。

图1. 基于舞蹈动作的深度音乐推荐方法的整体结构示意图

******利用本推荐算法进行推荐的实例******

*每个音乐类别(Cha-cha/Rumba/Tange)给出了2到3段舞蹈的音乐推荐结果。

*每一行都对应同一个舞蹈动作片段,其中,第一列中给出的是音乐-舞蹈数据集中的真实(gt)的音乐背景,第二列到第四列,是按照本工作中的方法推荐(pre)的背景音乐。

*推荐音乐的前后顺序(0/1/2)不表示其优劣程度。

***类别1. Cha-cha***

***类别2. Rumba***

***类别3. Tango***

论文链接