머신러닝 기초. 쉽게 설명하는 편미분, 체인룰

1. 편미분 (partial derivation)

 

편미분이란 다변수 함수의 특정 변수를 제외한 나머지 변수를 상수로 생각하여 미분하는 것이다.

 

 

간단히 말해, x y 등 다양한 변수가 있는 식에서,

하나의 변수 x 로 미분 하려고 할 때,

나머지 변수 y 를 상수 취급 하는 것이다.

 

 

의 식에서, x 에 관해서 미분 하려고 할때, 편미분을 이용한다.

간단하다.

y를 그냥 상수라고 생각하고 미분한다.

 

 

 

 

좌표 (1,1)에서 z의 x에 대한 편미분은 3이다. 위의 식에 좌표를 대입하면 끝이다.

 

 

 

z의 그래프는 유클리드 공간 속 곡면으로 정의할 수 있다.

 

 

z  =  x 2  +  xy  +  y 2 의 그래프.  y  = 1로 놓으면,  xz -평면과 평행하는 빨간색 곡선을 얻으며, 점 (1, 1)에서 곡선의 접선은 역시  xz -평면과 평행한다.

 

y를 상수 취급하고, x에 대해서 편미분 했을 때,

 

xz - 평면과 평행하는 곡선과 그 곡선의 접선을 구할 수 있다.

 

위 그래프의 평면  y  = 1에 의한 절단면. 점 (1, 1)에서의 접선의 기울기는 3이다.

 

 

출처.

https://ko.wikipedia.org/wiki/%ED%8E%B8%EB%AF%B8%EB%B6%84

 

---

 

2. 체인룰(chain rule)

 

 

  연쇄 법칙, 즉 체인 룰이란 합성함수의 도함수에 대한 공식이다.

 

함수 f가 x_0에서 미분 가능하며, 함수 g가 f(x_0)에서 미분가능하면, 아래의 식이 성립한다.

 

 

 

 

f와 g가 구간 I에서 미분가능하다면, 아래의 식이 성립한다.

 

 

 

y= f(x) , u = g(x)로 다시 쓰면, 아래의 식이 성립한다.

 

 

 

역전파(back propagation)에서 나타나는 합성함수의 편미분은 일일이 계산할 필요없이 체인룰을 통해 간단히 계산할 수 있다.

 

 

다음은, 미분하는 간단한 예제이다.

 

chain rule 1.

 

 

chain rule 2.

 

chain rule 3.

 

 

chain rule 4.

 

chain rule 5.

 

chain rule 6.

 

 

 

 

출처.

 

https://ko.wikipedia.org/wiki/%EC%97%B0%EC%87%84_%EB%B2%95%EC%B9%99

http://www.copingwithcalculus.com/ChainRule.html