마스크 착용 시 얼굴 인증이 어려운 문제점을 해결하고자 눈 주변 영역(periocular) 이미지만 사용하는 방법을 제안했습니다. 마스크 착용 및 미착용 얼굴 이미지를 쌍으로 수집한 후 샴 네트워크(Siamese Neural Network)를 사용해 얼굴 인증 모델을 학습시켰습니다. 마스크를 착용한 얼굴 이미지의 경우 기존 시스템 대비 얼굴 인증 성능이 3% 향상되었습니다.
프로젝트를 시작할 당시 (2020년 초)에는 마스크 착용 유무에 따라 쌍으로 구성된 얼굴 데이터셋이 없어 6종류의 마스크 착용 데이터셋을 수집하고, 모델에 넣을 수 있도록 얼굴 랜드마크 라이브러리를 사용한 전처리 부분을 맡았습니다.
대학원 기계학습 수업을 수강하면서 3명의 팀원과 함께 진행했으며, 관련 논문을 국제 학술대회에서 공유하고 특허를 출원하는 성과를 거두었습니다. 데이터셋을 직접 수집하는 일부터 전처리, 모델 학습, 평가하면서 딥러닝 모델을 만드는 일련의 과정을 경험했습니다.
실생활에서 직면한 불편함을 해결하기 위해 기존 연구를 기반으로 새로운 방법을 제안했습니다. 이러한 문제 해결 능력이 새로운 문제를 직면했을 때 도움이 될 것으로 생각합니다.
용접 마스크가 눈의 피로에 미치는 영향을 정량적인 수치로 알고 싶어 한 용접 마스크 제작 회사의 요청에 따라 진행한 프로젝트입니다.
실제 용접공들이 노출되는 환경과 최대한 유사하도록 용접과 휴식을 30초 동안 반복하는 실험을 설계했습니다. 용접 불꽃을 사용해 시각 피로를 유발하고, 이러한 자극에 의한 적외선 눈 영상을 취득했습니다. 적외선 눈 영상에서 3가지 동공 특징(눈 깜빡임 빈도, 눈 감은 시간, 동공 변화 속도)을 기반으로 시각 피로를 정량적으로 측정했습니다.
3명의 팀원과 함께 진행했으며, 회사에 직접 방문해 피험자 30명의 데이터를 취득하고 전처리 과정을 맡았습니다. 프로젝트의 전체 과정을 잘 모르는 사람들이 실험에 참여해 취득한 데이터에 노이즈가 많이 포함되어 수동적/ 자동적 필터링을 사용해 피로도 분석 이전에 노이즈를 최대한 제거했습니다.