What is Macine Learning

• Definitions
  • Mitchell’s Machine Learning
    • “기계학습 분야는 경험에 의해 computer program이 자동적으로 성능개선되는 방법에 대한 질문과 연관되어 있다” -Mitchell’s Machine Learning-
    • “어떤 task T에 대해 P에 의해 측정되고 경험 E로 향상되면 Computer program은 어떤 task와 어떤 성능측정 P에 관하여 경험 E로부터 학습한다고 한다.“ -Mitchell’s Machine Learning-
      • E: 수집되어야 할 data
      • T: S/W에 필요한 결정사항
      • P: 결과를 평가하는 방법
  • Elements of Statistical Learning
    • “많은 분야에서 거대한 data가 만들어지고 있고, 이 data를 이해하는 것이 통계학자의 직업이다. 중요한 pattern과 trend를 추출하고 “data가 이야기하는 것”을 이해하는 것을 우리는 data로부터 학습이라 부른다”
  • Pattern Recognition
    • “Pattern인식은 공학에 근본을 둔 반면, machine learning은 computer과학으로부터 자라났다. 그러나, 그 활동들은 같은 분야의 두가지 양상으로 보여질수 있다…”
      • 공학적 관점에서 시작하여 Computer과학을 배우고 활용함 => 우리가 본받아야할 성숙한 접근방식
      • 방법에 대해 주장하는 분야와 상관없이, “data로부터 학습”에 의한 결과나 통찰력에 좀더 근접함으로서 우리의 요구사항을 만족시키면, 우리는 그것을 기계학습이라 명명할 수 있다.
  • An Alogorithmic Perspective
    • “Machine learning의 가장 흥미로운 요소는 주로 computer과학, 통계학, 수학, 공학의 여러 다른 학문 분야에 걸쳐 있다는 것이다. ...machine learning은 computer과학에서 확고한 인공지능의 한 분야로 연구된다. ...이러한 알고리듬이 작동하는 이유를 이해하려면 컴퓨터 과학 학부생들로부터 종종 누락되는 일정량의 통계 및 수학적 소피케이션(sophistics)이 필요하다 => 여러 방면의 학문과 연결되어 있음, 한 분야에 너무 직찹하면 안됨
• Definitions Machine Learning
  • “Machine Learning은 성능측청에 대한 결정을 일반화하는 data로부터 model 훈련이다
    • Model을 훈련 => 훈련 예시 제시
    • Model => 경험을 통해 획득한 상태 제안
    • 결정을 일반화 => 결정이 필요할 미래에 보이지 않는 입력과 예상하지 못한 입력을 기반으로 의사 결정을 내릴 수 있는 능력을 시사한다.
    • 성능측정에 대한 => 목표 요구사항과 model이 준비해야할 성능의 방향성 제시

What Are the Key Concepts in Machine Learning?

• Data

  이해를 위해 단순히 row와 column을 지닌 DB table이나 Excel spreedsheet로 생각할 수 있음(비정형 data는 여기서 제외함)

  • Instance
    • data의 단일 행(row)
    • Domain으르부터의 관측치
  • Feature
    • data의 단일 column(feature)
    • 관측치의 구성이며, data instance의 속성(attribute)
    • 특정 feature는 model의 입력으로, 다른 featuer는 model의 출력 또는 예측값으로 사용
  • Data Type
    • feature는 data type을 가짐
    • 실제 또는 정수값(real value), 범주형값(categorical value), 순서값(ordinary value)
    • 문자열, 날짜, 시간, 복잡한 type을 가질 수 있음
    • 전통적인 machine learning 방법으로 작업시 실제값이나 범주형 값 사용
  • Datasets
    • Instance의 집합
    • Machine Learning 작업시 목적에 따른 몇개의 dataset 필요
  • Training Dataset
    • model을 훈련시키기 위해서 machine learning algorithm에 주어지는 dataset
  • Testing Dataset
    • model의 정확도 검증을 위해 사용되는 dataset(훈련에는 사용되지 않음),
    • 검증(Validation) dataset라 할 수 있음

• Learning

  Algorithm을 이용한 자동화된 학습의 실제

  • Induction
    • Machine Learning은 유도(induction) 또는 유도학습(inductive learning)이라 불리는 과정을 통해 학습
    • 유도란 특정 정보(dataset)으로부터 일반화(generalization)(model)을 만드는 추론 process
  • Generalization
    • 훈련 중에 보이지 않던 특정 data instance를 기반으로 예측, 결정을 해야하므로 일반화가 필요
  • Over-Learning
    • 훈련 data에 너무 가깝게(closely) 학습되어 일반화하지 않았을 경우
    • 훈련 data외 data에 형편없는 성능을 가짐
    • over fitting이라고도 함
  • Under-Learning
    • model의 학습과정이 너무 일찍 종료되어 database로부터 충분히 학습하지 못한 경우
    • 일반화는 좋지만 모든 data에 낮은 성능을 가짐
    • under fitting이라고도 함
  • Online Learning
    • 사용 가능할 때 domain에서 data instance를 update한 방법
    • noise가 많은 data에 강력한 방법이 필요하지만 domain의 현재상태와 더 잘 맞는 model을 생성할 수 있음
  • Offline Learning
    • 준비된 data에 대해 생성된 후 관찰되지 않은 data에 대해 운영적으로 사용되는 방법
    • 훈련data의 범위가 알려져 있기 때문에 훈련 과정을 주의깊게 제어하고 조정할 수 있음
    • Model을 준비한 후에는 update되지 않으며, domain이 변경될 경우 성능이 저하될 수 있음
  • Supervised Learning
    • 에측이 필요한 문제에 일반적인 학습 process
    • “교육 과정(teaching process)”는 model의 예측과 정답을 비교하여 model내에서 수정
  • Unsupervised Learning
    • 예측이 필요하지 않은 data의 구조를 일반화하기 위한 학습 process
    • 자연적이 구조가 확인되고 서로 연관된 instance들로 exploited됨

• Modelling

  기본적으로 program인 Machine Learning과정에 의해 만들어진 인공물, 우리가 풀려고하는 문제의 model이므로 model이라고 부름

  • Model Selection
    • 설정(configure)와 model 훈련과정 => model selection process
    • 매과정에서 사용 또는 수정할 model을 가지고 있음
    • machine learning algorithm 선택은 Model selection의 한 과정
    • 문제에 대해 존재하는 모든 가능한 model중, 선택된 훈련 dataset에 주어진 algorithm과 algorithm 설정은 최종적으로 선택된 model을 제공할 것임
  • Inductive Bias
    • 선택된 model에 내제된 제한값
    • 모든 model은 편향되어 있어 model 오류가 발생하고 정의상 모든 model에는 오류 존재(관측엣 일반화한 model임)
    • 편향은 model의 구성과 모델을 생성하는 algorithm 선택을 포함하여 model에서 만들어진 일반화에 의해 도입
    • Machine learning 방법은 낮은 or 높은 bias를 가진 mode을 생성할 수 있고, 매우 편향된 model의 bias를 줄일 수 있는 전략을 사용할 수 있다.
  • Model Variance
    • 훈련한 dataset에 model이 얼마만큼 민감한가
    • variance를 줄이는 전술은 다른 초기조건으로 dataset을 여러번 실행하고 model 성능의 평균값을 취함
  • Bias-Variance Tradeoff
    • model selection은 bias와 variance의 trade-off로 생각할 수 있음
    • 낮은 bias는 높은 variance를 가질것이며, 사용가능한 model을 얻기위해 더 많은 훈련이 필요
    • 높은 bias는 낮은 variance를 가질 것이며, 빠른 훈련을 될 것이지만 낮고, 제한된 성능을 경험

What Problems Can Machine Learning Address?

Machine Learning을 이해하는 한 부분으로, 어떤 type의 문제를 machine learning이 해결할 수 있는지 이해하는 것이 유용함

직면한 문제 type을 앎으로서 필요한 data와 algorithm에 대해 생각하게 되므로 가치있음

• Example Problems
  • Spam 탐지
  • 신용card 사기 탐지
  • 숫자 인식
  • 음성 이해
  • 얼굴 인식
  • 제품 권장
  • 의학 진단
  • 주식 거래
  • 고객세분화
  • 형상 탐지
• Types of Problems
  • Classification
  • Regression
  • Clustering
  • Rule Extraction

What Algorithm Does Machine Learning Provide?

Machine learning을 공부하는것은 machine learning algorithm을 공부하는 것

여러 방법종류와 확장이 있고, 어떤 것이 역학적 Algorithm을 구성하는지 빠르게 판단하기가 어려움

• Algorithm Similarity
  • machine learning algorithm을 분류하는 방법은 많음
  • Algorithm유사성이 가장 간단한 방법
  • 기능이나 형태의 유사성에 의해 group화 ex)tree based methods, neural network inspired methods
  • tree based method이면서 neural netword inspired method 인 Learning Vector Quantization과 같은 algorithm이 존재함
  • Regression과 Clustering처럼 문제종류와 algorithm종류 동일한 이름인 category가 존재함
  • Machine Learning Algorithm 자체로 완벽하고, 완전 충분한 model은 없음
• Regression
  • model에 의한 예측값의 error측정을 사용하여 반복적으로 정제된 변수들간의 관계를 modelling
  • 통계의 핵심이며 통계적 machine learning으로 통합됨
  • 문제종류와 algorithm종류로 언급할 수 있어 혼동할 수 있음
  • 실제 regression은 실행과정(process)임
  • Example
    • Ordinary Least Squares Linear Regression
    • Logistic Regression
    • Stepwise Regression
    • Multivariative Adaptive Regression Splines(MARS)
    • Locally Estimated Scatterplot Smoothing(LOESS)
• Instance-based Methods
  • model에 깊게 중요하거나 필요한 훈련 data의 예제 또는 instance기반으로 결정 문제를 model
  • 예제data database를 만들고 최적match와 에측을 위해 신규 data를 유사측정을 사용하여 database와 비교
  • 이런 이유로 winner-take all method, case-based and memory based 학습이라 함
  • Example
    • k-Nearest Neighbour(kNN)
    • Learning Vector Quantization(LVQ)
    • Self-Organizing Map(SOM)
• Regularization Methods
  • 일반화에 좋은 좀더 간단한 model 선호하면서, model의 복잡성을 기반으로하여 model에 penalty를 부여하여 다른 model(주로 regression)을 확장
  • Example
    • Ridge Regression
    • Least Absolute Shrinkage and Selection Operator(LASSO)
    • Elastic Net
• Decision Tree Learning
  • Data의 실제 속성값을 기반으로 만들어진 결정 model을 구성하는 방법
  • 해당 record에 대한 결정이 만들어질때까지 tree 구조를 fork
  • classification이나 regression 문제의 data를 기반으로 훈련
  • Examples
    • Classification and Regression Tree(CART)
    • Iterative Dichotomiser3(ID3)
    • C4.5
    • Chi-squared Automatic Interaction Detection(CHAID)
    • Decision Stump
    • Random Forest
    • Muitivariative Adaptive Regression Splines(MARS)
    • Gradient Boosting Machines(BGM)
• Bayesian
  • Classification과 regression 문제에 명시적으로 베이즈 이론을 적용한 방법
  • Examples
    • Naive Bayes
    • Averaged One-Dependence Estimators(AODE)
    • Bayesian Belief Network(BBN)
• Kernel Methods
  • 방법과 방법의 집합체인 Support Vector Machine(SVM)이 가장 잘 알려짐
  • 쉽게 modelling할 수 있는 classification이나 regression문제에서 input data를 고차원의 vector공간으로 mapping
  • Examples
    • Support Vector Machine(SVM)
    • Radial Basis Function(RBF)
    • Linear Discriminate Analysis(LDA)
• Clustering Methods
  • regression처럼 문제와 방법을 얘기함
  • centroid-based나 hierarchical과 같은 modelling적 접근으로 조직화됨
  • 최대 유사도의 group으로 data를 조직화하기 위해서 data의 고유구조를 사용하는 방법
  • Examples
    • k-Means
    • Expectation Maximisation(EM)
• Association Rule Learning
  • data내 속성의 관찰된 연관관계를 설명할 수 있는 최적의 규칙을 찾아내는 방법
  • 이러한 규칙은 조직이 이용할 수 있는 대규모 차원 데이터 세트에서 중요하고 상업적으로 유용한 연관성을 발견할 수 있다.
  • Examples
    • Apriori algorithm
    • Eclat algorithm
• Artificial Neural Networks
  • 생물학적 신겸망에서 영감을 얻음
  • classification과 regression에 일반적으로 사용되는 pattern matching이자만 모든 문제에 대해서 수백가지의 algorithm과 변형으로 구성된 어마어마한 영역
  • Examples(Deep Learning 과 분리)
    • Perceptron
    • Back-Propagation
    • Hopfield Network
    • Self-Organizing Map(SOM)
    • Learning Vector Quantization(LVQ)
• Deep Learning
  • 인공 신경망(ANN)의 최신 version
  • 점더 크고, 복잡한 신경망을 구성, labelling된 작은 data를 가진 큰 dataset에서의 반지도학습와 관련
  • Examples
    • Restricted Boltzman Machine(RBM)
    • Deep Belief Networks(DBN)
    • Convolutional Network
    • Stacked Auto-encoders
• Dimensionality Reduction
  • Clustering처럼 data내 고유한 구조를 찾고 탐색
  • 비지도 방식이나 적은 정보를 사용하여 data를 요약하거나 설명
  • 고차원 data를 visualize하거나 지도학습에서 사용할 data를 단순화할때 유용
  • Examples
    • Principal Component Analysis(PCA)
    • Partial Least Squares Regression(PLS)
    • Sammon Mapping
    • Multidimensional Scaling(MDS)
    • Project Pursuit
• Ensemble Methods
  • 각각 독립적으로 훈련된 다수의 model를 결합하여 예측값들은 특정한 방식으러 전체 예측값을 만듦
  • 어떤 type의 model들을 결합하고, 어떻게 결합할것인지에 노력이 필요
  • 강력하고 인기 있는 기술
  • Examples
    • Bagging
    • Bootstrapped Aggregation(Boosting)
    • AdaBoost
    • Stacked Generalization(blending)
    • Gradient Boosting Machines(GBM)
    • Random Forest

What Other Fields Are Related to Machine Learning

• Foundations

  수학과 computer 과학분야 기반

  방법은 선형과 행렬 대수로, 동작은 통계와 확률로 이해

  • Probability
  • Statistics
  • Artificial Intelligence

• Progenitors

  • Computational Intelligence
  • Data Mining
  • Data Science