뉴럴넷

뉴럴넷이란 무엇인가

그래서 뉴럴넷이 무엇인가?

뉴럴넷이란, 사람의 뇌를 컴퓨터 위에서 시뮬레이션 하기 위한 심플한 방법이다. 그래서 뉴럴넷이 어떻게 동작하는지를 이해하려면 먼저 우리 뇌가 어떻게 동작하는지를 알아야 한다.

우리 뇌는 뉴런이라고 하는 작은 세포가 1000억개쯤 모여서 구성되어 있다. 각 뉴런은 대략 1000개쯤되는 다른 뉴런과 연결되어서 전기적 화학적 신호를 통해서 정보를 주고 받는다. 뉴런으로 들어오는 신호를 받는 단자를 시냅스(synapse)라고 부른다. 뉴런의 끝은 나무 가지 처럼 생겼다. 이 부분을 덴드라이트(dendrites) 라고 부른다.

(중략...)

뉴럴 네트워크는 수 많은 인공 뉴런으로 이루어져 있다. 인공 뉴런이라고 해서 특별한게 아니라 그냥 컴퓨터 안에서 뉴런의 행동을 모델링해서 만든 개념(Data Structure라고 할 수도 있겠다)이다. 뉴런을 몇개나 사용하는지는 그때 그때 다르다. 정확히 말하자면 어떤 뉴럴넷으로 어떤 문제를 풀고 싶은지에 따라서 달라진다. 최소 3개에서부터 최대 수천개까지 사용하는 경우도 있다. 어떤 사람은 뉴런을 2백만개 쯤 사용하면 고양이 정도쯤 되는 똑똑한 지능을 만들 수 있지 않을까 하는 생각을 가지고 연구를 하고 있지만, 글세...(결국 실패했다고 한다.)

뉴런을 연결해서 뉴럴 넷을 만드는 방법은 여러가지가 있지만 일단 여기에서는 가장 대중적인 feedforward network 에 대해서 설명한다.

그래서 인공뉴런이라는 놈은 도대체 어떻게 생겼는가? 궁금한 사람들을 위해서 아래의 그림을 그려봤다.

그림에서 w 로 표시된 부분은 각 입력에 해당하는 가중치를 나타낸다. 가중치란 무엇이냐? 우리가 뉴럴넷을 학습시킨다는 것은 결국 각 입력에 연결된 실수 값인 w 값을 조정한다는 뜻이다. 양수값이나 음수값 모두를 허용하는 경우가 일반적이다. 이 경우, 양수값, 음수값 모두를 사용하기에 입력이 자극/억제 기능 양쪽으로 작용할 수 있다. 각 입력은 핵(파란 원)으로 들어오면서 입력값은 가중치와 곱해지고, 핵은 각 입력값을 합하여 이를 활성도(activation)로 이용한다. 만약 활성도가 특정값(임계치)보다 높으면 뉴런은 신호를 1을 출력 한다. 만약 활성도가 임계치 보다 낮다면 0을 출력한다. 이런 방식으로 1/0 의 출력을 내는 경우를 step 함수라고 한다.

수학적 표현

수식을 보면 멀미가 나는 독자들을 고려하여, 수식 표기는 최소화하려고 한다. 그래서 수식 표기는 최소한으로만 이용을 하려고 한다. 아래 내용은 그리 복잡하지 않으므로 말로만 설명하는 것보다 이해에 조금 더 도움이 될지도 모르겠다.

뉴런의 입력 개수는 1개 이상이면 된다. 그럼 뉴런의 입력개수를 n 이라고 해보자. 그러면 뉴런의 입력은 x1, x2, x3… xn으로 표현할 수 있다. 그리고 각 입력에 해당하느 가중치 값을 w1, w2, w3… wn 이라고 하자. 그럼 각 입력과 해당하는 가중치를 곱한 값의 합은 x1w1 + x2w2 + x3w3 …. + xnwn, 으로 표현된다. 앞의 내용을 기억하는 독자라면 이 값이 바로 활성도 라는 것을 알 수 있을 것이다. 우리가 고딩때 배웠던 지식 중에서는 이 수식을 아주 짧고 간결하게 표기하는 수식이 있는데, 이 수식을 이용해서 이를 표현하면 다음과 같다.

'설명은 됬고, 나에게 코드를 달라' 는 분들을 위해서 아래에 코드로 표현해 보았다. 각 입력과 가중치는 x[n] 과 w[n] 으로 초기화되었다고 가정한다.

double activation = 0;
 
for (int i=0; i<n; i++)
{
   activation += x[i] * w[i];
}

이해가 되나?

이 내용을 다시 그림으로 요약하면 다음과 같다.

인공 뉴런을 쓰는 방법

그럼 이제 이 뉴런을 어떤 방법으로 연결을 할 차례다. 방법 중에 하나는 이 뉴런을 피드포워드(feedforward) network 라는 설계로 연결하는 방법이다. 이 설계에서는 각 Layer에 있는 뉴런이 그 출력을 최종 출력에 도달할 때까지 다음 Layer에 전달해주는 방식으로 작동한다. 이 설계의 이름인 feedforward network는 이런 방식에 착안해서 붙여졌다. 간단한 피드포워드 네트워크를 그림으로 표현하면 다음과 같다.

각 입력은 Hidden Layer의 모든 뉴런으로 보내진다. 그리고 Hidden Layer의 각 뉴런의 출력은 다음 Layer 의 모든 Neuron 으로 연결된다. 피드포워드 네트워크에 있는 Hidden Layer의 개수는 몇 개라도 상관이 없지만 왠만한 문제는 하나의 Layer만 써도 잘 돌아간다고 한다. 각 Layer 에 있는 뉴런의 개수 역시 몇개로 하던지 상관이 없다. 이거 역시 문제에 따라서 몇개를 사용할지 적절하게 정하면 된다. 이렇게 설명하면 이게 뭔소린가 싶으신 분들이 많으실테니 한번 실제 예를 들어서 설명을 해보겠다.

뉴럴넷을 응용하는 대표적인 분야가 바로 문자 인식이다. 아라비아 숫자 '4'를 인식하는 뉴럴넷을 디자인 한다고 해보자. 8*8 개의 LED가 있는 전광판에 4를 표현한다고 하면, 아래와 같은 그림을 그릴 수 있을 것이다.

위 그림에서 주홍색으로 표시된 부분이 켜져 있는 부분이고 흰색으로 있는 부분이 꺼져 있는 부분이다.

우리가 설계할 뉴럴넷은 위의 각 LED 의 켜짐/꺼짐 상태를 입력으로 받아서 이 LED가 표시한게 '4'인지 아닌지를 1/0 으로 출력하는 네트워크이다. ('4'가 맞는 경우 1, 아닌경우 0). 그럼 뉴럴넷의 입력은 64개이다. 그리고 각 입력은 Hidden Layer 에 있는 몇 개의 뉴런으로 다시 전달될테고, 그 뉴런을 다시 그 출력은 출력 뉴런으로 전달 할 것이다. (이 정도는 머리속으로 그릴 수 있겠지? 내가 수십개의 뉴런을 일일이 다 그리고 싶지는 않거든...)

이제[ 이렇게 뉴럴넷을 만들었으면 다음은 학습을 할 차례이다. 학습을 하는 방법중의 하나는 뉴럴넷을 일단 임의의 값으로 초기화를 하고 일련의 입력(위의 예에서는 LED판의 상태)을 주어서 되먹임을 먹여서 학습하는 방식이다. 각 입력에 대해서 출력값을 계산하고, 가중치를 조정하여 입력이 '4' 처럼 생겼을 경우 1을 출력하고, 아닐 경우 0을 출력하도록 조정을 해야한다. 이런 종류의 Training 을 Supervised learning 이라고 하고, 우리가 입력해주는 데이터를 training set 이라고 한다. 가중치를 조정하는 방법에는 여러가지가 있는데 대표적인 방법이 backpropagation 이다. 다만 여기서는 backpropgation 에 대해서는 설명하지 않는다. 왜냐하면 더 좋고 수학도 필요없는 학습방법이 있기 때문이다.

생각해보면 출력 단자의 개수를 10개로 늘리면 숫자 '0'에서 '9' 까지를 모두 인식할 수 있도록 네트워크를 만들 수도 있다. 물론 27 개로 만들면 알파벳을 모두 인식하도록 만들 수도 있을 것이다.

좀 이해가 되시나? 이해가 잘 안된다고 해도 걱정하지 마시라, 이제 코드를 보여준테니...

챕터4(제목 미정)

자 이제 코딩을 한번 해보자.

스크린샷을 게임의 화면을 보여준다. 탱크처럼 생긴게 minesweeper 이고 지뢰는 초록색 점으로 표시된다. minsweeper 가 지뢰를 찾으면 이건 사라지고 또 다른 지뢰가 나타난다. 그래서 화면에 지뢰의 개수가 일정하게 유지되도록 한다. 붉은 색으로 표시된 minsweeper가 현재 진화 상태에서 최고 성능으로 찾을 수 있는 minesweeper 이다.

뉴럴넷이 어떻게 하면 minesweeper 의 움직임을 조절할 수 있을까? 실제 탱크와 마찬가지로 minesweeper 는 탱크의 우측 트랙과 좌측 트택의 속도를 조절해서 운전할 수 있다. minesweeper 의 우측과 좌측에 다양한 힘을 작용함으로써 모든 종류의 동작을 수행할 수 있다. 따라서 네트워크는 두가지 출력을 필요로 한다. 출력 하나는 좌측 트랙의 속도를 나타내고 다른 출력은 우측 트랙을 나타내면 될 것이다.

우리가 지금까지 다뤘던 출력은 1 이나 0인데 어떻게 하면 다양한 출력값을 표시할 수 있을까? Step 함수를 임계값으로 이용하는 대신에 각 뉴런의 출력이 대칭적인 그래프를 출력하도록 바꾸면 이 문제를 해결 할 수 있다. 이때 0~1에서의 실수 출력을 스무스한 함수로 변환하기 위해서 사용할 수 있는 후보가 몇가지가 있는데, 여기에서는 Sigmoid를 소개하려고 한다. (Sigmoid라는건 그냥 S 모양의 물건을 있어보이게 부르는 이름이다)

(중략...)

출처

• 본 문서는 아래 문서를 번역한 것입니다.
• http://www.ai-junkie.com/ann/evolved/nnt3.html