머신러닝[분류알고리즘2] 앙상블 학습

앙상블 학습을 통한 분류는 여러 개의 분류기를 생성하고, 그 예측을 결합함으로써 보다 정확한 최종 예측을 도출하는 기법이다. 어려운 문제의 결론을 내기 위해 여러 명의 전문가로 구성된 위원회를 구성하듯, 다양한 분류기의 예측 결과를 결합함으로써 단일 분류기보다 신뢰성 높은 예측값을 얻는 것이다. 

비 정형 데이터의 분류에서는 딥러닝이 강세를 보이며, 정형 데이터의 분류에서는 앙상블이 뛰어난 성능을 보인다. 이 앙상블 알고리즘의 대표격으로 랜덤 포레스트와 GBM(Gradient Boosting Machine)를 내세울 수 있겠는데, 이 두 알고리즘은 사용하기 쉬우면서도 성능이 뛰어난 데다가 활용도까지 높다.  특히 GBM을 비롯한 부스팅 알고리즘은 인기와 강세가 지속되어 XGBoost, LightGBM과 같은 기존의 GBM을 뛰어넘는 새로운 알고리즘이 개발되고 있다. 앙상블 알고리즘은 분류만이 아니라 회귀에서도 뛰어난 모델을 만들어 낼 수 있다.

앙상블 학습의 유형은 보팅(Voting), 배깅(Bagging), 부스팅(Boosting)의 세 가지로 나눌 수 있으며, 이외에도 스태깅 등을 포함한 다양한 앙상블 방법이 있다. 보팅과 배깅은 여러 개의 분류기가 투표를 통해 최종 예측 결과를 결정하는 방식이다. 두 방식에는 보팅은 일반적으로는 서로 다른 알고리즘을 가진 분류기를 결합하고, 배깅은 같은 알고리즘을 가진 분류기를 사용하되 데이터 샘플을 서로 다르게 가져가면서 학습을 수행한다는 차이가 있다.

부스팅은 여러 개의 분류기가 순차적으로 학습을 수행하되, 앞에서 학습한 분류기가 예측이 틀린 데이터에 대해서는 올바르게 예측할 수 있도록 다음 분류기에 가중치를 부여하며 학습과 예측을 진행하는 방식이다. 

보팅의 유형 - 하드 보팅과 소프트 보팅

하드 보팅은 일반적인 다수결 원칙과 비슷하다. 예측한 결과 값 중 다수의 분류기가 결정한 예측값을 최종 보팅 결과값으로 선정하는 것이다.

소프트 보팅은 분류기들의 레이블 값 결정 확률을 모두 더하고 평균을 낸 뒤 가장 확률이 높은 레이블 값을 최종 보팅 결과값으로 선정한다. 일반적으로는 소프트 보팅을 보팅 방식으로  적용시킨다.