딥러닝 4.0 오차역전파법

이번에는 오차 역전파법을 알아볼 것이다.

오차 역전파법이란 가중치 매개변수의 기울기를 효율적으로 계산하는 것이다.

 

 

 

 

오차 역전파법을 이해하는 방법은 두 가지가 있는데

수식 또는 계산 그래프다.

계산 그래프로 설명한다는 생각은 안드레 카페시, 페이페이 리 교수가 진행한 딥러닝 수업에서 나왔다.

 

 

 

 

 

 

계산 그래프

 

여기서 사용하는 그래프는 자료구조로, node와 edge로 표현된다.

 

 

그럼 문제를 풀어보겠다.

 

 

 

문제 1.

 

A는 슈퍼에서 1개에 100원인 사과를 2개 샀다.

이때 지불 금액 구하기.

단, 소비세가 10% 부과된다.

 

 

그림1

그림 1을 설명해보겠다.

처음에 사과의 100원이 X2 노드를 거친 후 200원이 되어 다음 노드로 전달된다.

200원이 X1.1 노드를 거친 후 220원이 된다.

결과는 220원이 된다.

 

 

 

 

 

 

 

위 계산 그래프의 흐름을 보면

 

1. 계산 그래프를 구성한다.

2. 그래프에서 계산을 왼쪽에서 오른쪽으로 진행한다.

 

여기서 2번 계산을 왼쪽에서 오른쪽으로 진행하는 단계를 순 전파라고 한다.

반대로 오른쪽에서 왼쪽으로 계산하는 역전 파도 있다.

 

 

계산 그래프를 쓰는 이유?

 

1. 국소적 계산

   > 전체가 아무리 복잡해도 각 노드에서는 단순한 계산에 집중하여 문제를 단순화할 수 있다.

 

2. 중간 계산 결과를 모두 보관할 수 있다.

 

3. 역전파를 통해 미분을 효율적으로 계산할 수 있다.

 

 

 

이제 한번 문제 1을 역전파를 사용해 표현해보겠다.

 

 

 

 

그림2

오른쪽에서 왼쪽으로 거쳐 가는 걸 볼 수 있다.

 

사과가 1원 오르면 최종 금액은 2.2. 원 오른 다는 걸 알 수 있다.