Skip to content

3c0tr/2camera-motion-capture-in-Blender

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

6 Commits
 
 
 
 
 
 
 
 

Repository files navigation

2camera-motion-capture-in-Blender

  • .py文件是.blend文件内部python脚本的原文件

项目起源

突发奇想做的小工具,采用mediapipe进行的人体关键点的2维检测精度很好,同时采用两个正交摄像头的数据就可以让目标检测结果可以在3维空间中同样保持精准,再也不用担心转个身就穿模了

使用方法

从两个方向同时获取一段视频(两个摄像头的朝向越接近90°越好),且视频中只能出现一个人,打开.blender文件,你在现实中的两个摄像头是怎么摆的就把那两个叫“cam1”和“cam2”的摄像头怎么摆,注意手动在代码里修改摄像头的FOV(默认两个都是120°),运行脚本,即可获得可视化的点云数据。也可取消注释的代码,启用自动人体骨骼动画的功能(目前效果很一般)。在项目中的.blend文件中的一个集合已经有一份点云数据了,就是通过这个py脚本自动生成的,可以按播放查看

项目中的.blend文件曾经也有一份IK人体动画数据,但是因为会导致文件体积巨大而被我删掉了

ALT

现状与画饼

在自动人体骨骼动画方面目前采用的是IK骨骼,也仅仅采用了检测到的人体关键点的肢体末端点作为动画数据,未来会尝试采用FK骨骼进行优化,原理是保证每段骨骼指向检测到的两个人体关键点的向量对应方向,这样能充分利用关键点数据,应该能让人体模型看起来更自然

About

a simple application of mediapipe in blender

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published