피어세션 회고

아트랩은 우리 뽑을 생각이 없는것 같습니다..ㅠ

https://colab.research.google.com/drive/1dWvA54k4fH8zAmiix3VXbg95uEIMfqQM?usp=sharing#scrollTo=DBB-nLzZ9TXT

(dalle pytorch pretrain code)

dalle pytorch - text를 어디 모델에 태우는거지???

→ 모델에 태우는게 아니라 positional embedding을 한뒤에 bpe 단위로 쪼개서 그냥 하는것같다.

(관련 issue 링크 : https://github.com/lucidrains/DALLE-pytorch/issues/21)

영진: VQGAN 돌려봤는데 15기가 정도 나왔다. 포켓몬 데이터 description 으로 모아서 정리해서 csv 업로드 할 예정임.

Training Generative Adversarial Networks with Limited Data (2020) → 이 논문이 데이터가 제한 되어있을때 사용하는 stylegan2 인데 우리 프로젝트에 연관이 있지 않을까 하는 생각.

성욱: 깃헙 두개 링크를 찾았는데 어떤게 좋을지 몰라 둘다 준비했습니다.

1. https://github.com/lucidrains/deep-daze
2. https://github.com/lucidrains/big-sleep

재영 : 저희가 본 논문들은 text는 그냥 대충 인코딩해서 태우는 느낌인데 다양한 논문들에 dall-e mini 처럼 bert,bart같은 것들로 인코딩해서 해주면 좋은 성능이 나지 않을까??

준홍 : VAE 랑 GAN은 애초에 다른 구조인데 VQGanVAE는 무슨 혼종이냐??

이번 최적화 수업 강의 정말 좋으니 꼭 듣는걸로!

내일 피어세션 시간에는 대회 얘기도 나누는 걸로.