머신러닝 | 앙상블 학습

앙상블 학습 (지도 학습)

• 여러 개의 모델을 학습시켜 다양한 예측 결과를 이용 
• 모든 머신러닝 모델과 문제(회귀, 분류)에 적용 가능함 
  • 회귀문제 - 평균 
  • 분류문제 - 투표
• 크게 Bagging과 Boosting 두 가지 방법론이 존재

 

Bagging 배깅

Bootstrap 부트스트랩 

• 통계의 기본 - 모수를 정확히 추정하기 위해서는 다양하고 좋은 표본 데이터 셋이 필요
• but, 표본을 계속 많이 얻는 것은 현실적으로 어려움 
• 현재 가지고있는 샘플을 복원 추출해서 여러개의 데이터셋을 만듬 

 

Bagging 배깅

• Bootstrap Aggregation 부트스트랩 데이터를 합친 것 
• 부트스트랩으로 생성된 데이터셋을 가지고 모델을 학습하는 것
• 학습된 모델의 결과로 나온 모든 예측치 평균(회귀)내거나, 투표(분류)를 활용해서 분산 오류를 낮춤

 

Boosting 부스팅

• 먼저 학습된 학습기의 결과가 다음 학습기에 학습에 정보를 제공 
• 이전 학습기의 결점을 보완

 

Adaboost 알고리즘

• 잘못 예측한 데이터에 큰 가중치를 부여해서 모델에 대한 가중치와 학습된 결과를 결합해 최종 모델을 생성
• 작은 오분류율을 가진 모델이 더 중요한 역할을 하도록 함