Story of CowHacker

다시 한번 신경망 학습의 절차를 보겠다. 전제 신경망에는 가중치와 편향이 있고, 이 가중치와 편향을 훈련 데이터에 적응하도록 조정하는 과정을 학습이라고 한다. 1단계 - 미니 배치 훈련 데이터 중 일부를 무작위로 가져온다. 손실 함숫값을 줄이는 것이 목표다. 2단계 - 기울기 산출 미니 배치의 손실 함숫값을 줄이기 위해 각 가중치 매개변수의 기울기를 구한다. 3단계- 매개변수 갱신 가중치 매개변수를 기울기 방향으로 아주 조금 갱신한다. 4단계 - 반복 1 ~ 3 단계를 반복한다. 지금까지 알아온 오차 역전파법은 2단계 기울기 산출에 속한다. 이제 오차 역전파법을 본격적으로 구현할 차례다. 먼저 2층 신경망에서 클래스의 인스턴스 변수와 메서드를 알아보겠다. 이제 그림 1과 그림 2를 참고해 클래스 코드를 ..

이번 글에서는 먼저 연쇄 법칙에 대해서 알아볼 것이다. 연쇄 법칙이란? 합성 함수의 미분은 합성 함수를 구성하는 각 함수의 미분의 곱으로 나타낼 수 있다. 여기서 합성 함수가 뭔지 알아야만 한다. 합성함수란? 여러 함수로 구성된 함수다. 그림 1의 식은 그림 2처럼 두 개의 식으로 구성된다. 다음은 역전파에 대해서 알아보겠다. 역전 파는 연쇄 법칙이랑 같은 원리다. 먼저 덧셈 노드의 역전파에 대해 알아보겠다. z = x + y 라는 식을 미분해보면 그림 3처럼 된다. 이것을 계산 그래프로 표현하면 그림 4는 순 전파를 나타낸 것이고, 그림 5는 역전파를 나타낸 것이다. 그림 5에서 상류에서 전해진 미분에 1을 곱하여 하류를 거친다. 결국 덧셈 노드의 역전 파는 1을 곱하기만 할 뿐이므로 입력된 값을 그대..

이번에는 오차 역전파법을 알아볼 것이다. 오차 역전파법이란 가중치 매개변수의 기울기를 효율적으로 계산하는 것이다. 오차 역전파법을 이해하는 방법은 두 가지가 있는데 수식 또는 계산 그래프다. 계산 그래프로 설명한다는 생각은 안드레 카페시, 페이페이 리 교수가 진행한 딥러닝 수업에서 나왔다. 계산 그래프 여기서 사용하는 그래프는 자료구조로, node와 edge로 표현된다. 그럼 문제를 풀어보겠다. 문제 1. A는 슈퍼에서 1개에 100원인 사과를 2개 샀다. 이때 지불 금액 구하기. 단, 소비세가 10% 부과된다. 그림 1을 설명해보겠다. 처음에 사과의 100원이 X2 노드를 거친 후 200원이 되어 다음 노드로 전달된다. 200원이 X1.1 노드를 거친 후 220원이 된다. 결과는 220원이 된다. 위 ..