2023년도 TGWinG 여름 해커톤 프로젝트

Demo

닮은 교수님 찾기 - Chrome 2024-01-29 00-00-13.mp4

Introduction

Facenet이라는 인공지능 모델을 통해 얼굴 이미지를 입력받으면 경희대학교 교수님 중 어떤 교수님과 닮았는지 도출해주는 web 어플리케이션을 개발하였습니다.

개발 기간은 2023년 7월부터 8월까지 약 한달이었으며 팀원은 프론트 개발자 1명, 백엔드 개발자 1명 AI 개발자 1명으로 총 세명이 개발하였습니다.

Architecture

Untitled

client가 이미지를 제공하면 mtcnn이 얼굴을 찾습니다.

이후 Facenet을 통해 얼굴에 대한 특징을 표현하는 embedding vector를 생성하고 미리 생성된 약 50명의 교수님의 embedding vector와 비교합니다.

그 중 가장 유사도가 높은 교수님의 얼굴을 client에게 전송합니다.

FACENET paper summary

FaceNet은 각각의 얼굴 이미지를 128차원으로 임베딩하여 유클리드 공간에서 이미지 간의 거리(가까울 수록 유사도가 높음)를 통해 분류하는 모델이다. 그 값을 활용하여 값들 간의 거리를 통해 이미지에 대한 identification, verification, clustering을 할 수 있게 되는 것이다.

FaceNet은 학습과정에서 Metric Learning을 하기위해 Triplet Loss를 사용했다. 학습 시 미니 배치 안에서 어떠한 사람(Anchor)에 대해 같은 사람(Positive)와 다른 사람(Negative)를 지정해 놓는다. 그리고 임베딩된 값들의 유클리드 거리를 구해 그림과 같이 Anchor와 Positive의 거리는 가까워지고 Negative와의 거리는 멀어지도록 학습을 시켰고 이러한 과정을 triplet loss로 구현하였다.

장점

Implementation

Web