완전연결 신경망은 Affine 계층 뒤에 활성화 함수를 갖는 ReLU 계층이 이어진다. 마지막 5번째 층은 Affine 계층에 이어 softmax 계층에서 최종결과를 출력한다.
CNN 에는 합성곱 계층과 풀링 계층이 추가되었다. Conv-ReLU-Pooling 흐름으로 이어진다. 출력에 가까운 층은 Affine-ReLU 구성을 이용하고 출력 계층에서 Affine-Softmax 조합을 그대로 사용한다.
완전연결 계층의 문제점은 데이터의 형상이 무너진다는 점이다. 완전연결 계층에서 이미지를 입력할 때는 3차원 데이터를 1차원 데이터로 평탄화해줘야 되기 때문이다.
합성곱 계층은 3차원 데이터를 입력받아 다음 계층에도 3차원 데이터를 전달한다.
이 예시는 입력은 (4,4), 필터는 (3,3), 출력은 (2,2) 입니다. 필터의 윈도우를 일정 간격으로 이동해가며 입력 데이터에 적용합니다.
합성곱 연산을 수행하기 전에 입력 데이터 주변을 특정 값으로 채우는 것
필터를 적용하는 위치의 간격.
