DNN - BD-SEARCH/MLtutorial GitHub Wiki

Fully-Connected Neural Network

  • Fully-Connected Neural Network, Feedforward Neural Network(FNN) ๋“ฑ์œผ๋กœ ๋ถ€๋ฅธ๋‹ค.
  • ์ž…๋ ฅ์„ ๋ฐ›๋Š” ์ธต, ์ž…๋ ฅ๊ฐ’์„ ๋ณ€ํ˜•์‹œํ‚ค๋Š” ์ธต, ๊ฐ’์„ ์ถœ๋ ฅํ•˜๋Š” ์ธต์œผ๋กœ ๊ตฌ์„ฑ๋œ ๋ชจ๋ธ.
    • ํ”ํžˆ '์ธ๊ณต์‹ ๊ฒฝ๋ง' ํ•˜๋ฉด ๋– ์˜ฌ๋ฆฌ๋Š” ๋ชจ๋ธ
    • layer ๋‚ด๋ถ€์˜ ๋‰ด๋Ÿฐ๋ผ๋ฆฌ๋Š” ์„œ๋กœ ์—ฐ๊ฒฐ์ด ๋˜์–ด ์žˆ์ง€ ์•Š๊ณ , ์•ž/๋’ค layer์˜ ๋ชจ๋“  ๋‰ด๋Ÿฐ ์‚ฌ์ด์—๋งŒ ์—ฐ๊ฒฐ๋˜์–ด ์žˆ๋‹ค.
  • ์—ฌ๋Ÿฌ ์ž…๋ ฅ๊ฐ’์„ ๊ฐ€์ค‘์น˜ํ•ฉํ•˜๊ณ  ์ž„๊ณ„๊ฐ’์„ ๋นผ๋Š” Perceptron๋“ค๋กœ ๊ตฌ์„ฑ๋˜์–ด ์žˆ๋‹ค. ๊ทธ๋ ‡๊ธฐ ๋•Œ๋ฌธ์— ์ด layer๋ฅผ ์—ฌ๋Ÿฌ ์ธต ์Œ“์œผ๋ฉด ๊ทผ์‚ฌ์ ์œผ๋กœ ๋ชจ๋“  ํ•จ์ˆ˜๋ฅผ ๋‚˜ํƒ€๋‚ผ ์ˆ˜ ์žˆ๋‹ค.
  • ์ถฉ๋ถ„ํ•œ ๋ฐ์ดํ„ฐ๋งŒ ์žˆ์œผ๋ฉด Train์„ ํ†ตํ•ด Perceptron์˜ ๊ฐ€์ค‘์น˜์™€ ์ž„๊ณ„๊ฐ’์„ ์ •ํ•  ์ˆ˜ ์žˆ๋‹ค.

Layer์˜ ๊ตฌ์กฐ

  • ํ•˜๋‚˜์˜ ์ธต์€ ์—ฌ๋Ÿฌ ์—ฌ๋Ÿฌ ๊ฐ’์„ ๋ฐ›์•„ ํ•œ ๊ฐ’์„ ์ถœ๋ ฅํ•˜๋Š” Perceptron์œผ๋กœ ๊ตฌ์„ฑ๋˜์–ด ์žˆ๋‹ค.
    • Perceptron : ์—ฌ๋Ÿฌ ์ž…๋ ฅ์„ ๋ฐ›์•„ ๊ฐ๊ฐ์˜ ๊ฐ€์ค‘์น˜๋ฅผ ๊ณฑํ•œ ๋’ค, ์ž„๊ณ„๊ฐ’์„ ๋นผ๊ณ  ํ™œ์„ฑํ™” ํ•จ์ˆ˜๋ฅผ ํ†ต๊ณผ์‹œ์ผœ ํŠน์ •ํ•œ ๊ฐ’์„ ์ถœ๋ ฅํ•˜๋Š” ๊ตฌ์กฐ๋กœ. ์‚ฌ๋žŒ์˜ ๋‰ด๋Ÿฐ์„ ๋ณธ๋”ฐ์„œ ๋งŒ๋“  ๊ฒƒ
  • Layer๋“ค์€ Input Layer, Hidden Layer, Output Layer๋กœ ๊ตฌ์„ฑ๋˜์–ด ์žˆ๋‹ค.
    • Input Layer : ์™ธ๋ถ€๋กœ๋ถ€ํ„ฐ ์ž…๋ ฅ๊ฐ’์„ ๋ฐ›๋Š” Layer. ์šฐ๋ฆฌ๊ฐ€ ์ด๋ฏธ ๊ฐ€์ง€๊ณ  ์žˆ๋Š” ๋ฐ์ดํ„ฐ๋ฅผ ์˜๋ฏธํ•œ๋‹ค.
    • Hidden Layer : ์ž…๋ ฅ๊ฐ’์„ ๋ณ€ํ˜•์‹œ์ผœ ๋‹ค์Œ์˜ Hidden Layer/Output Layer๋กœ ๊ฐ’์„ ์ „๋‹ฌํ•˜๋Š” Layer. ๊ฐ€์ง€๊ณ  ์žˆ๋Š” ๊ฐ’์„ ๋ถ„์„ํ•ด ์–ป์–ด๋‚ธ ์ถ”์ƒ์ ์ธ ๊ฐ’์„ ์˜๋ฏธํ•œ๋‹ค.
    • Output Layer : ๊ฐ’์„ ๋ชจ๋ธ ์™ธ๋ถ€๋กœ ์ถœ๋ ฅํ•˜๋Š” Layer. ์šฐ๋ฆฌ๊ฐ€ ์–ป๊ณ  ์‹ถ์€ ๊ฒฐ๊ณผ๊ฐ’์„ ์˜๋ฏธํ•œ๋‹ค.

์ฐธ๊ณ  ์ž๋ฃŒ