Artificial Intelligence35 [ CNN ] 4. Depth-wise convolution - PyTorch Code Depth-wise convoltuion 단일 채널에 대해서만 수행되는 필터를 이용하여 convolution 하는 것을 말한다. 채널 방향으로 합쳐지지 않고, spatial 방향으로만 convolution을 진행한다. 각 channel 별로 convolution 결과적으로 입력 채널 수 만큼 그룹을 나눈 Grouped Convolution 과 동일하다 장점 : 각 채널 고유의 feature를 뽑아낼 수 있음, parameter 수와 연산을 줄일 수 있음. - parameter 수 : C_in x Kernel_size^2 import torch.nn as nn class ConvBNReLU(nn.Module): def __init__(self, C_in, C_out, kernel_size, stride, .. 2021. 8. 12. [ CNN ] 3. Point-wise convolution - PyTorch Code Point-wise convolution - PyTorch Code 보통의 convolution은 3x3 또는 5x5 크기의 필터를 사용해서 spatial feature 들을 뽑아낸다. 그런데 pointwise convolution 1x1 크기의 필터를 사용한다. 1x1 필터는 단순히 생각하면 똑같은 결과를 만드는 것이 아닌가 라고 생각된다. 실제로는 output channel을 조절하거나 parameter수를 줄여 모델을 경량화 시키고 빠르게 연산할 수 있다는 장점이 있다. 공간 방향의 convolution 은 진행하지 않고, 채널 방향으로만 진행한다(Dimensionality Reduction) 1 x 1 x C : 크기의 커널을 사용 Inception / Xception / SqueezeNet / .. 2021. 8. 12. 이전 1 ··· 9 10 11 12 13 14 15 ··· 18 다음
