더 깊게

VGG 신경망을 참고하여 더 깊은 신경망을 만들어 보자.

사용되는 합성곱 계층은 모두 3x3 크기의 필터로, 층이 깊어지면서 채널 수가 늘어난다. 풀링 계층을 추가하여 중간 데이터의 공간 크기를 점차 줄인다. 마지막 완전연결 계층에서는 드롭아웃 계층을 사용한다.

가중치 초깃값은 He 초깃값이고, 매개변수 갱신에는 Adam을 사용한다. 대략 99%이상의 정확도를 보인다.

정확도를 높이려면

data augmentation : 입력 이미지를 알고리즘을 동원해 인위적으로 확장하는 것

이미지의 일부를 잘라내는 crop, 좌우를 뒤집는 flip 등이 있다.

깊게 하는 이유

1. 신경망의 매개변수 수가 줄어든다.

층을 깊게 한 신경망은 깊지 않은 경우보다 적은 매개변수로 같은 수준의 표현력을 달성할 수 있다.

5x5의 합성곱을 한번하는 것이 3x3의 합성곱을 두번하는 것과 출력은 같지만 매개변수는 25와 9*2로 더 많이 필요하다.

1. 층을 거듭하면서 ReLU 등의 활성화 함수를 사용하여 표현력이 개선된다.
2. 신경망을 깊게 하면 학습해야 할 문제를 계층적으로 분해하여 단순한 문제로 대체할 수 있다.

딥러닝의 초기 역사

딥러닝이 큰 주목을 받게 된 계기는 이미지 인식 기술을 겨루는 장인 ILSVRC의 2012년 대회입니다. 그해에 딥러닝에 기초한 기법, AlexNet이 우승하여 이미지 인식의 접근법을 뿌리부터 흔들었습니다.

최근 몇 년 빼어난 성적을 거두고 있는 딥러닝 중에서도 VGG, GoogLeNet, ResNet은 특히 유명합니다.

VGG