Fatigue Detection on Face Image Using FaceNet Algorithm and K-Nearest Neighbor Classifier

Background

코로나로 인해 온라인 클래스가 늘어남에 따라 컴퓨터를 장시간 보게 됨으로써 피로를 호소하는 사람도 많아졌다. 이러한 문제점을 개선하기 위하여 조기에 피로를 탐지하는 방법을 제시해보고자 한다. 

Method

1. 얼굴 데이터셋 준비
   • UTA-RLDD dataset : 18~51세 재학생과 졸업생으로 이루어져있음.
     focused, unfocused and fatigue 이렇게 세 가지 class로 이루어져있음
     1000개의 training data와 100개의 validation data
2. Haar cascades 방법을 이용해 얼굴 탐지하기
   • cascade function을 이용하는 machine learning 방법 ( 더 정확한 detector가 있다면 그걸 쓰자)
3. 얼굴데이터 전처리
   • FaceNet의 요구에 맞추기 위해 160 x 160으로 resize
4. FaceNet algorithm을 통해 특징 추출하기
   • triplet loss: anchor가 positive와는 가깝게 negative와는 멀게 학습시키는 함수
   • 160x160크기의 RGB영상을 받아서 128차원의 벡터를 내보낸다.

   • 

5. K-NN또는 multiclass SVM을 통해 분류
   • K-NN: 특정 범위 내에 가장 많은 클래스를 찾고 그것을 통해 예측하는 방법
   • SVM: 각 class와 마진이 최대가 되는 vector를 구하여 예측하는 방식

Result

K-NN algorithm에서 k=1일때 정확도가 최상이었음.