基于多模式联合的智能室内运动交互系统

实现功能：

1、基于BlazePalm的手势检测与操控系统设计，通过视频流的图像检测得到手关节的坐标点，通过坐标点建立数学模型，构建一个基于手势动作的操控系统，优化模型以便得到较好的控制效果。 2、基于BlazeFace的人脸检验和基于卷积神经网络的人脸识别监测，提取人脸信息稳定帧，对采集到的视频帧进行人脸检测和识别，实时监测识别结果，以便进行后续的动作匹配。并对人脸检测模型进行对比，实验不同卷积网络模型的识别效果，最后选择最优的模型方法以便于搭建实时人脸监测系统。
3、基于BlazePose的关节点检测与基于数学模型的动作匹配程度计算，从视频流图片帧提取人物骨骼点，并计算骨骼点变化情况。然后设计一个基于变换角的简单运动评分系统，用于实时视频与本地标准动作的比对和评分。 4、搭建室内健身运动交互页面，提供多模态的计算机视觉方法，用于运动检测、人机交互、匹配算法等。通过视频流的比对得到运动准确性分析，实现低成本，高可用性且泛化性好的室内运动系统。

整体框架图

项目为毕业设计，欢迎各位fork or star。

项目所需环境请看requirement.txt，所需数据内容请自行添加修改，原文中的data文件都是自己拍摄的视频，不予以分享。注意，数据需要通过tool进行标准化后才可以使用，如果觉得麻烦可以重构这部分代码。原data目录结构如下：