Embedded DL - newlife-js/Wiki GitHub Wiki

by 서울대학교 하순회 교수님

CNN Complexity

'# of MAC operations: fH x fW x N x (KxKxC)
'# of filter weights: K x K x C x N

CNN SW 최적화

GEMM(GEneral Matrix Multiplication)

convolution을 matrix multiplication으로 변환

Winograd

vector를 im2col 변환을 한 후에 아래와 같은 식으로 convolution 계산
filter(g0, g1, g2)는 고정되어 있기 때문에 아래 식의 (g0+g1+g2)/2 등의 식은 한 번만 계산하면 됨(재사용)

Low Rank Approximation

큰 필터를 여러 개의 작은 필터로 근사하는 방법

Tucker Decomposition

KxK 크기의 필터 x 큰 수의 input/output 채널(Ci, Co)
-> 1x1 convolution을 이용해서 KxK의 필터의 채널 수(C'i, C'o)를 줄이는 방법