Semantic Segmentation - GlobalMediaBridge/cosmetic-server GitHub Wiki

컴퓨터 비전 분야에서 이미지의 의미를 파악하려는 노력은 계속 되어왔다. 머신러닝의 Convolution Neural Network가 나온 뒤로 폭발적으로 발전하게 되었다. 이미지의 의미를 파악하는 것은 얻어내는 결과에 따라 여러 종류로 나뉘게 된다.

N개의 종류를 분류할 때

출처

1. 한 가지 종류를 분류
2. 한 가지 종류를 사각박스로 위치와 함께 분류
3. 여러 가지 종류를 사각박스로 위치와 함께 분류
4. 여러 가지 종류를 픽셀단위로 분류

이 때 각각의 결과는 다음과 같다.

1. N차원의 벡터에서 결정된 종류의 차원은 1 나머지는 0
2. 1번의 결과 + 결정된 종류의 좌상단좌표, 너비, 높이
3. x개의 물체를 찾을 수 있다고 가정했을 때 x개의 2번의 결과
4. 입력으로 들어온 이미지 크기와 같은 크기의 행렬 n개 차원 각 차원별로 해당 종류가 위치한 픽셀은 1 아니면 0

우리는 단순히 사각박스로 위치를 얻는 것이 아닌 픽셀단위로 위치정보를 얻어내야 하기 때문에 semantic segmentation을 이용한다.

Semantic Segmantation 이해

Input: RGB color 이미지 (height X width X 3) 또는 흑백 (height X width X 1) 이미지

Output: 각 필셀별 어느 class 에 속하는지 나타내는 레이블을 나타낸 Segmentation Map

단순화된 이미지이며 실제로는 같은 해상도의 결과를 나타냄

출처 결과를 실제로 살펴보면 이런 모습이다.

FCN (Fully Convolutional Network)

출처 [Fully Convolutional Network for Semantic Segmentaion]

(https://people.eecs.berkeley.edu/~jonlong/long_shelhamer_fcn.pdf) 이미지를 분석하기 위해서 convolution 네트워크를 사용하게 되는데 일반적인 convolution 모델은 파라미터를 줄이고 차원을 줄이는 layer들을 가지고 있기 때문에 실제 픽셀 위치를 기억해야하는 sematic segmentation에 적합하지 않다.

stride를 1을 주고 pooling을 사용하지 않는다면 입력의 차원을 유지할 수 있지만 현실적으로 연산량을 감당하기 힘들고 불필요한 정보를 제거하지 못해 정보의 밀도를 높일 수 없다. 그래서 일반적으로 convolution을 진행한 뒤 줄어든 차원을 다시 원래 크기로 되돌리는 upsampling과정이 추가된다.

convolution과 pooling을 통해 차원을 줄여나가는 것을 downsampling 또는 인코더라하고 줄어든 차원을 다시 원래 차원으로 되돌리는 것을 upsampling 또는 디코더라고 한다.

마지막으로 일반적인 CNN 모델은 마지막에 2차원 행렬의 데이터를 펼쳐서 벡터형태로 만든뒤 fully connected layer를 통해 분류작업을 진행한다. 이렇게 될 경우 픽셀의 위치정보가 전부 사라지게 되므로 CNN 만을 이용해서 분류작업을 하는 모델이 FCN (Fully Convolutional Network)이다. flat하게 펼치는 대신 1x1 Convolution layer를 이용한다.

Fully Connected Layer -> Fully Convolutional Network

예를들어 256x256x3 크기의 이미지를 convolution을 통해 10x10x100 크기의 feature 맵을 만들고 flat하게 펼쳐서 10000 -> 4096 -> 22 로 가는 dense layer를 거친다고 해보자. 이를 하기 위해선 10x10x100 크기를 10000개의 뉴런으로 펼치고 10000x4096의 행렬을 곱해서 layer를 진행해가면 4096개로 줄여나갈 수 있다. 그 다음 4096x22 행렬을 곱하는 식으로 일반적인 fully connected layer를 사용할 수 있는데 이를 convolution을 이용해서 동일한 효과를 낼 수 있다.

10x10x100 크기의 feature맵에 10x10x100 크기의 커널을 이용해 convolution을 진행하면 결과가 1x1x1 크기의 값이 나오게 된다. 만약 이런 커널을 4096개의 channel로 진행한다면 1x1x4096 의 결과가 나오게 될 것이다. 이것은 flat하게 펼쳐서 fully connected layer를 진행한 것과 동일한 효과를 나타낸다. 이 후에 1x1 convolution을 22channel로 진행하면 1x1x22 크기의 값이 나오게 되면서 기존의 결과를 90도 회전시킨 것과 같은 결과를 보여준다.

fully connected layer : [0,0,1, ... , 0] 22차원 one-hot vector
fully convolutaion layer : [0],[0],[1], ... , [0](/GlobalMediaBridge/cosmetic-server/wiki/0],[0],[1],-...-,-[0) 1x1x22 3차원 matrix

이렇게 한다면 인풋 이미지의 사이즈가 커졌을 때 input 사이즈에 비례하게 output 사이즈를 만들어내는 convolution의 특징과 함께 마지막 결과가 NxMx22 사이즈의 결과가 나오게 될 것이다. 인풋이미지보다는 사이즈가 작지만 위치정보를 포함하는 결과를 만들어낼 수 있다.

하지만 결과적으로 우리가 원하는 것은 인풋이미지와 동일한 사이즈의 아웃풋 matrix이기 때문에 upsampling과정이 필요하다. 이는 convolution을 역으로 진행한 deconvolution을 이용해서 진행할 수 있다.

deconvolution의 모습

아래의 파란 이미지에서 위의 초록 이미지로 진행되는 것

이런 deconvolution을 마지막에 진행하는 것이 아닌 인풋이미지의 1/8 사이즈가 되었을 때 진행시켜서 최종 결과와 합쳐주는 것이 FCN-8s 이다. (1/16 때 진행하면 FCN-16s)

Atrous Convolution

출처 Learning Deconvolution Network for Semantic Segmentation 출처

convolution을 사용하고 pooling을 사용하면 결국 resolution은 줄어들게 된다. 그렇기 때문에 정보의 손실을 막으면서 정보의 깊이를 더하기 위해 Atrous convolution을 사용한다.

일반적인 Convolution 의 모습

input : 5x5 matrix
kernal : 3x3
stride : 1
padding : 1
output : 5x5

Atrous Convolution 의 모습

input : 5x5 matrix
kernal : 3x3
stride : 1
padding : 1
rate : 2
output : 5x5

위와 동일하나 kernal을 만들때 이전 커널 모습이 아래와 같다면

x1, x2, x3
x4, x5, x6
x7, x8, x9

atrous convolution을 진행하기 위해 dilation rate 값을 이용한다. rate에 따라 커널을 삼각대 펼치듯이 더 펼쳐주는 것을 의미한다.

x1, 0, x2, 0, x3
0,  0,  0, 0,  0
x4, 0, x5, 0, x6
0,  0,  0, 0,  0
x7, 0, x8, 0, x9

그러면 3x3 크기의 kernal로 5x5 크기의 kernal과 같은 효과를 만들어 낼 수 있다.

Conditional Random Field

딥러닝과는 무관하지만 물체의 윤곽선을 잘 알기 위해 딥러닝으로 semantic segmentation을 사용하기 이전에 사용하던 컴퓨터 비전 방식을 추가로 활용한 것이다.

각 픽셀단위로 label을 분류할 때 녹색은 나무일 확률이 높고, 파란색은 하늘일 확률이 높은 확률 정보를 unary term이라고 한다. 그리고 인접한 픽셀은 같은 class일 확률이 높을 거라고 생각하는 확률 정보 pairwise term이 있다. 이 두 정보를 입력해주고 CRF를 사용하면 물체의 윤곽선을 더 잘 잡아낼 수 있게 된다.

UnPooling

출처 [2015 ICCV] [DeconvNet] Learning Deconvolution Network for Semantic Segmentation

기존 semantic segmentation에서는 어느 정도 크기에서 물체를 파악하려는 지에 대한 receptive field 값을 미리 정해주기 때문에 큰 물체나 작은 물체중 놓치는 것이 발생하게 된다.

그래서 1x1 크기의 convolution 피처맵을 만들어서 다시 upsampling을 진행하게 된다. 이 때 효과적으로 upsampling을 진행하기 위해서 unpooling이라는 기술을 적용하는데 deconvolution과 다르게 max 풀링은 어떤 값이 max로 선택되어서 줄어든 것인지 알 수 없으면 도저히 진행할 방법이 없다. 그래서 downsampling 과정에서 풀링하는 곳에서 어떤 값이 max로 선택되었는 지를 switch variables라는 값으로 기억해두었다가 unpooling을 진행할 때 사용하게 된다. 그래서 downsampling과 upsampling이 반드시 대칭의 모습을 이루게 된다.

pooling은 의미있는 정보를 선별하는 과정이기 때문에 어떤값이 의미있는 지 기억해서 unpooling을 하게 되면 더 좋은 성능을 낼 수 있다.

Atrous Spatial Pyramid Pooling (ASPP)

출처 DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs

구글의 inception 모델은 커널 사이즈를 달리해서 다수의 cnn을 진행한뒤 합치는 컨셉을 갖고 있다. 이를 atrous convolution으로 적용한 것이 Atrous Spatioal Pyramid Pooling이다.

커널사이즈가 3x3이면 연산해야하는 파라미터의 수는 9개이다. 5x5라면 25이고 7x7이라면 49가 될 것이다. 이렇게 커널사이즈를 달리해서 receptive field 를 정하고 큰 물체인 경우와 작은 물체인 경우를 달리해서 파악할 수 있다. 커널사이즈에 따라 파라미터 수가 급증하기 때문에 현실적으로 연산이 어렵다.

큰 resolution의 강아지 사진이 있다고 가정하자. 이를 파악하기 위해선 큰 사이즈의 커널로 cnn을 진행해야할 것이다. 하지만 해당 사진의 크기를 단순히 줄인다고 해도 우리는 해당 사진이 강아지 사진임을 파악할 수 있다. 즉 큰 사이즈의 커널로 진행하는 것이 아닌 강아지 자체가 작아진 것과 같은 효과를 내도록 하는 것이다. 커널의 크기를 키울 때 Atrous Convolution을 적용하면 같은 개수의 파라미터로 큰 사이즈의 커널을 적용한 것과 같은 효과를 낼 수 있다.

이처럼 다양한 크기의 atrous convolution을 사용해서 진행해서 합쳐주는 방식을 사용해서 성능을 크게 높였다.

Full-Resolution Residual Unit (FRRU)

출처 Full-Resolution Residual Networks for Semantic Segmentation in Street Scenes

결국 downsampling이 진행되면 기존 resolution에서 많은 정보를 잃게 된다. 그래서 기존 resolution을 그대로 진행하는 layer와 일반적으로 downsampling과 upsampling이 진행되는 layer를 함께 학습시키는 것이 FRRU이다.

기존 resolution을 유지하기 때문에 세세한 부분까지 잘 잡아내 주었다.