rokoko 스튜디오와 face capture 앱을 사용하여 실시간 얼굴 애니메이션 클립 만들기

rokoko 스튜디오와 face capture 앱을 사용하여 실시간 얼굴 애니메이션 클립 만들기

rokoko 스튜디오와 face capture 앱을 연결하려면 rokoko 계정의 유형을 구매하고 face capture 애드온을 추가해야합니다.아래 웹사이트에서 rokoko 계정의 종류(starter, plus, pro)와 가격 및 옵션을 확인할수있습니다.
https://id.rokoko.com/en/teams/create/finish-setup

 

1)예에서 한달동안 무료로 사용할수있는 플러스 계정(plus plan trial)을 구매하고 face capture 애드온을 추가하였습니다(애드온의 경우 추가 비용이 발생합니다)

https://id.rokoko.com/en/teams/0/team-settings

 

2)rokoko studio의 프로젝트에서 새로운 씬을 추가합니다.

 

3)새로운 씬이 추가된것을 확인할수있습니다.

 

4)모바일에서 rokoko의 face capture 앱을 다운로드하고 실행합니다. 

 

5)rokoko studio의 좌측 face capture mobile app에서 모바일 장치를 선택 및 마우스 우클릭하고 connect를 선택합니다.

(rokoko studio와 face capture 앱을 연결하려면 연결하려는 두 장치(PC, 모바일)가 동일한 네트워크에 있어야합니다)

 

6)모바일 face capture 앱에서 연결을 허용합니다(allow)

 

7)face capture 앱의 카메라에서 촬영하는 사용자의 얼굴 모션이 인식되는것을 확인할수있습니다.

 

8)rokoko 스튜디오의 씬에서 얼굴 모델 오브젝트에 사용자의 모션이 실시간으로 반영되는것을 확인할수있습니다.

 

9)좌측의 add to scene에서 새로운  actor 오브젝트를 추가합니다.

 

10)actor의 이름 및 높이를 설정하고 add actor를 클릭하면 씬에 actor 오브젝트를 추가합니다.

 

11)좌측에서 추가한 actor 오브젝트가 목록에 추가된것을 확인할수있습니다.

 

12)live inputs의 face capture를 선택 및 마우스 우클릭하고 pair with actor의 actor를 선택합니다.

 

13)actor 오브젝트에 기존의 얼굴 모델이 적용된것을 확인할수있습니다.

 

 

14)새로운 클립을 만들기위해 이름을 입력하고 녹화를 시작합니다.

 

15)녹화를 진행하는동안 모바일의 face capture 앱에서 사용자의 얼굴 표정 및 모션을 취합니다.

 

16)녹화를 종료하면 해당 모션 및 애니메이션을 확인할수있습니다.

 

17)rokoko studio 우측의 export를 선택하고 파일 포맷(fbx) 및 옵션을 선택하고 export clips를 클릭합니다.

 

18)저장한 파일을 3D프로그램에서 가져오기하면 얼굴 애니메이션을 확인할수있습니다.