weight initialization1 [ CNN ] 가중치 초기화 (Weight Initialization) - PyTorch Code w = torch.empty(3, 5) nn.init.uniform_(w) [ CNN ] 가중치 초기화 (Weight Initialization) CNN이든 머신러닝이든 결국 우리는 목적함수의 값을 최적화하는 방향으로 학습을 시켜나가죠. 그래서 보통 역전파를 이용해서 가중치(weight) 값을 조금씩 변화시켜나가며 정답을 찾아갑니다. 결국 우리가 찾고 싶은건 가중치(weight) 값이 되는 건데요. 그 가중치(weight)의 초기값에 따라서 학습의 진행방향이 달라집니다. 즉, 가중치 초기화(Weight initialization)은 학습과정에서 중요한 역할을 합니다. 1. torch.nn.init.uniform_(tensor, a=0.0, b=1.0) 균일 분포($u(a,b)$)로 텐서를 초기화 합니다.. 2021. 8. 13. 이전 1 다음
