2021 11 26 - KR-HappyFace/meetup-logs GitHub Wiki

ํ”ผ์–ด์„ธ์…˜

ํ˜„์ˆ˜๋‹˜ ๋ชฉ์†Œ๋ฆฌ๊ฐ€ ๋‚˜์œผ์…จ๋‹ค!

optune pruning์ด ์šฐ๋ฆฌ๊ฐ€ ์ƒ๊ฐํ•˜๋Š” ๊ทธ pruning์ด ์•„๋‹ˆ๋ผ early stopping์— ๊ฐ€๊นŒ์› ๋‹ค.

dalle ์— fashion mnist dataset์„ ๊ฐ–๊ณ  ์ƒ์„ฑํ•œ ๋ชจ๋ธ์ด ์žˆ๋”๋ผ ์„ฑ๋Šฅ์ด ๊ฝค ๊ดœ์ฐฎ์Œ โ†’ text to image๋กœ ๋‚จ/์—ฌ ๋งˆ๋„คํ‚น ๋„ ๋”ฐ๋กœ condition์„ ์ค„ ์ˆ˜ ์žˆ์Œ.

๋Œ€ํšŒ

  • ๊ผญ mobilenetv2 ๋งŒ์„ ์‚ฌ์šฉํ•  ํ•„์š”๋Š” ์—†๋‹ค! โ†’ ๋ชจ๋“ˆ ๋ธ”๋Ÿญ๋งˆ๋‹ค ๊ตฌํ˜„์„ ํ•˜๋ฉด ๋œ๋‹ค
  • 100 epoch ๊นŒ์ง€ ๋Œ๋ ค์„œ ์„ฑ๋Šฅ์„ ๋น„๊ตํ•˜๊ธฐ๋ณด๋‹ค 20epoch ์ •๋„๋กœ๋งŒ ๋Œ๋ ค์„œ ์ฐพ๋Š”๊ฒƒ์ด ๋” ์ข‹์„๋“ฏ ์‹ถ๋‹ค, ์ตœ์ ์˜ ๋ชจ๋ธ์„ ์ฐพ์€ ๋’ค์— 100~200 epoch๊นŒ์ง€ ๋Œ๋ฆฌ๋Š”๊ฒƒ
  • module ๊ฐฏ์ˆ˜ โ†’ ์žฌ์˜๋‹˜์ด ๊นŠ์ด๋„ ์ฐพ๋Š”์ค‘์ด๋‹ค.
    • ๊นŠ์ด๊ฐ€ 2์˜ ๋ฐฐ์ˆ˜๋กœ ๋Š˜์–ด๋‚  ๋•Œ๋งˆ๋‹ค input size๋„ ๋Š˜๋ ค๋†จ๋‹ค.
  • model trial ์‹œ๊ฐ„ ์ž์ฒด๋ฅผ ์ค„์—ฌ์•ผ ํ• ๊ฒƒ ๊ฐ™๋‹ค.
  • fp16 ๋˜์–ด์žˆ๋Š”๊ฑด๊ฐ€์š”?? โ†’ ๋˜์–ด์žˆ๋Š”๊ฒƒ ๊ฐ™์Šต๋‹ˆ๋‹ค (data configuration) ์žฌ์˜๋‹˜์ด config๋กœ ๋ถˆ๋Ÿฌ๋Š” ์™”๋Š”๋ฐ ์•„์ง ์ ์šฉ์€ ์•ˆ๋˜์–ด์žˆ์Šต๋‹ˆ๋‹ค.
  • efficient net โ†’ cnn ์—์„œ depth width resolution์„ ์กฐํ•ฉํ•ด์„œ ์ข‹์€ ๋ชจ๋ธ์„ ์ฐพ๋Š”๊ฒƒ ์ €ํฌ ๋Œ€ํšŒ์—
  • https://arxiv.org/abs/1806.09055
  • ์ค€ํ™: AMP ์ ์šฉ์‹œํ‚ฌ ์˜ˆ์ •.