머신러닝 기초. 쉽게 설명하는 편미분, 체인룰

수학/Basic

SuperMemi 2020. 3. 12. 15:45

편미분이란 다변수 함수의 특정 변수를 제외한 나머지 변수를 상수로 생각하여 미분하는 것이다.

간단히 말해, x y 등 다양한 변수가 있는 식에서,

하나의 변수 x 로 미분 하려고 할 때,

나머지 변수 y 를 상수 취급 하는 것이다.

의 식에서, x 에 관해서 미분 하려고 할때, 편미분을 이용한다.

간단하다.

y를 그냥 상수라고 생각하고 미분한다.

좌표 (1,1)에서 z의 x에 대한 편미분은 3이다. 위의 식에 좌표를 대입하면 끝이다.

z의 그래프는 유클리드 공간 속 곡면으로 정의할 수 있다.

y를 상수 취급하고, x에 대해서 편미분 했을 때,

xz - 평면과 평행하는 곡선과 그 곡선의 접선을 구할 수 있다.

출처.

연쇄 법칙, 즉 체인 룰이란 합성함수의 도함수에 대한 공식이다.

함수 f가 x_0에서 미분 가능하며, 함수 g가 f(x_0)에서 미분가능하면, 아래의 식이 성립한다.

f와 g가 구간 I에서 미분가능하다면, 아래의 식이 성립한다.

y= f(x) , u = g(x)로 다시 쓰면, 아래의 식이 성립한다.

역전파(back propagation)에서 나타나는 합성함수의 편미분은 일일이 계산할 필요없이 체인룰을 통해 간단히 계산할 수 있다.

다음은, 미분하는 간단한 예제이다.

출처.