특강 딥러닝 - accidentlywoo/legacyVue GitHub Wiki

특강 딥러닝

Deep Learning : Data hungry

데이터가 많을 수록 Accuracy가 높아진다.

Traditional Machine Learning 은 어느정도의 데이터에서 성능이 고정된다.

Data : large datasets

Hardware : GPU acceleration

모델의 파라미터가 많으면 데이터가 많이 필요하고 학습에 오랜시간이 걸린다.

overfitting을 방지하는 방식 : Data Augmentation : 데이터를 불리는 방법.

-> 학습데이터에서 커버하지 못한 특징을 학습시킬 수 있다.

-> 테스트데이터에대한 성능이 트레인데이터와 최대한 맞춰질 수 있게 한다.

Data Augmentation은 주로 좌우 반전데이터가 많다. 상하 변경데이터는 별로 없다. 고양이를 통통하고 날씬하게 변형도 한다. 스트레칭, 쇼팅 변형도 진행한다.

최적화 기법 : 그레디언트 디센트로 로스 펑션을 낮춘다.

오토메틱 머신러닝 : Auto ML : 알아서 최적의 방법론을 도출해준다.

CNN에서의 기초적인 메소드 3가지 췌크

NAS(Neral Architechture Search)

Advanced techniques(e.g.,batch norm, ADAM , attention)

ADAM : 과거에 발생됬던 그레디언트를 축적한다. 총합을 나눠주기 때문에 어느정도 진척을 보이다가 멈추게 된다. 평균값은 equal base이기 때문에 가중평균을 생각할 수 있다. 등비수열을 통해 가중치를 부여해서 가중평균을 구한다.
batch norm : 사용의 유무를 통해 학습성능에 큰 영향을 미친다. 평균에서 표준편차를 빼주면서 분포를 일정하게 유지해준다. batch nomarigation. 하나의 레이어(두단계로 구성)로 기능을 한다. 분포자체도 자동적으로 맞춰보자. 편균은 0 분산은 1로 만든다. cf) 버트, 트렌지션, 1.단계 standarzation 2. 원하는 표준편차 추출.

**Normalazation

feature engineering, feature 추출까지 딥러닝이 해준다.

rower rayer에서는 edge정보를 추출한다. (filter pattern)

기술이라는 것은 task에대한 방법론 들이 개선되는 방향으로 진화한다.

인공지능의 3대 거장 양루쿤, 로슈아 , 제프리 힌튼

데이터의 생성 및 변환 모델
벡터 표현형을 통한 이종 데이터의 통합 및 변환 : 영상 - 자연어 - 소리/음성 - 기타 정형 데이터
비지도 및 자가지도 학습(self-supervised learning) Computer vision : colorization, jigsaw puzzle Language model : BERT, GPT2, xLNet
실제 활용될 때의 이슈들 인공지능 모델의 해석가능성 인공지능 모델의 취약점 및 보안 사용자 인터페이스

raw level feature의 edge 추출은 범용적인 활용도를 보인다.

marsked language model