【摘要】基于视觉的手势交互技术被应用在载人航天虚拟训练系统中，其中基于视觉的手姿态估计方法是关键。由于手部关节多、自由度高，因此航天员在操作过程中易出现手势自遮挡，此时难以准确重建航天员手势操作，进而难以构建合适的虚拟训练系统。当关节点严重自遮挡时，甚至出现不能被识别或姿态估计结果畸形的情况。为此提出了基于关节点遮挡预测的多相机融合手姿态估计方法，在不同视角利用单幅手部图像进行关节点遮挡预测和手姿态估计，再依据关节点遮挡预测结果，在决策端将各视角的手姿态估计结果进行融合；并采集双视角手势操作视频样例，设计融合实验进行验证。实验结果表明:通过融合可以有效解决单一视角自遮挡严重、手姿态难以估计的问题，避免了传统多相机方法的相机校准和数据特征匹配过程，在保证算法实时性的基础上提高手姿态估计的精度。 

【关键词】载人航天训练；遮挡预测；手姿态估计；多相机

【作者】谢清超；晁建刚；柴秀娟；林万洪；熊颖；杨进