머신러닝[회귀알고리즘3] 회귀 트리

회귀를 위한 트리를 생성하고 이를 기반으로 회귀 예측을 하는 것이다. 분류에서 사용하는 분류 트리와 크게 다르지 않다. 다만 리프 노드에서 예측 결정값을 만드는 과정에 차이가 있는데, 분류 트리에서는 특정 클래스 레이블을 결정하는 것과 달리 회귀 트리는 리프 노드에 속한 데이터 값의 평균값을 구해 회귀 예측값을 계산한다.

피처가 하나인 X피처 데이터 세트와 결정값 Y가 2차원 평면상에 왼쪽 그림과 같이 있다고 가정 할 때, 이 데이터 세트의 X피처를 결정 트리 기반으로 분할하면 X값의 균일도를 반영한 지니계수에 따라 아래와 같이 분할 할 수 있다.

리프 노드 생성 기준에 부합하는 트리 분할이 완료됐다면 리프 노드에 소속된 데이터 값의 평균값을 구해서 최종적으로 리프 노드에 결정값으로 

결정 트리, 랜덤 포레스트, GBM, XGBoost, LightGBM등의 모든 트리 기반 알고리즘은 분류뿐 아니라 회귀에도 적용 가능하다.