장주용 교수(전자통신공학과) 연구팀, 단일 영상으로부터 

영상에 포함된 휴먼 객체의 6자유도 헤드 포즈 추정 알고리즘 개발

- 인공 지능 분야에서 세계 최고 권위의 학술대회인 ECCV에서 발표 -

모교 전자통신공학과 장주용 교수 연구팀은 단일 영상으로부터 영상에 포함된 휴먼 객체의 6자유도 헤드 포즈(6DoF head pose)를 정확하게 추정하는 알고리즘을 개발했다.

그림 1. 기존의 헤드 포즈 추정 방법들과 개발된 방법(TRG)과의 비교

개발된 알고리즘을 통해 영상으로부터 헤드의 3차원 위치(3D location)와 3차원 회전(rotation) 정보를 획득할 수 있는데, 이는 증강/가상 현실, 메타버스, 운전자 모니터링 시스템, 휴먼-로봇 상호작용 등의 다양한 응용 분야에 활용될 수 있다. 기존의 방법들은 얼굴의 기하(face geometry) 정보를 먼저 획득한 후 영상과의 최적화를 통해 6자유도 헤드 포즈를 추정하는 단방향(unidirectional) 구조를 가지고 있다. 이러한 방법들은 얼굴의 기하 정보가 잘못 추정 된 경우 그로부터 발생하는 헤드 포즈 추정 오차를 복구할 수 없다는 단점을 가진다. 반면에 본 연구팀에서 개발된 알고리즘은 얼굴 기하 정보와 헤드 포즈를 반복적으로 개선하는 양방향(bidirectional) 구조로 설계되어 기존 방법의 한계를 극복할 수 있다(그림 1 참고).  

그림 2. 개발된 방법을 통해 획득된 6자유도 헤드 포즈의 예

실제로 얼굴 기하 복원 및 헤드 포즈 추정을 위한 다양한 공개 데이터셋들(ARKitFace, BIWI)에 대해 기존의 state-of-the-art 방법들보다 우수한 성능을 달성하였다. 그림 2는 실제 다양한 휴먼 객체를 포함하는 in-the-wild 영상들에 대해 개발된 방법으로 인해 획득된 6자유도 헤드 포즈의 예를 보여준다.  

그림 3. ECCV 발표 중인 전성호 박사과정 학생