neural network

신경망에서의 행렬의 곱

입력값에서 다음 층의 출력값을 행렬곱으로 나타낼 수 있다. 조금 더 일반화를 해보자.

한 노드의 결과값을 식으로 나타내었고 한 출력층의 결과값을 식으로 나타내었다.

여기에다가 activation function도 추가해보았다.

activation function

입력신호의 총합을 출력 신호로 변환하는 함수. 모두 비선형 함수이다. 왜냐하면 선형 함수를 이용하면 신경망의 층을 깊게하는 의미가 없기 때문이다. 따라서 층을 쌓는 혜택을 보려면 비선형 함수를 사용해야 함

sigmoid function

신경망에서 자주 쓰이는 active func의 식과 그래프

ReLU function

최근에는 시그모이드 함수보다 ReLU함수가 더 많이 쓰인다고 한다.