지도학습은 명시적인 정답이 있는 데이터가 주어진 상태에서 학습하는 기계학습 방식이다. 데이터를 입력하고, 이 데이터에 대한 정답인 레이블을 붙인 학습 데이터로 모델을 학습시킨다. 지도학습에는 대표적으로 분류와 회귀, 두 가지 방법론이 있다.
분류는 주어진 학습 데이터의 피처와 레이블 값을 알고리즘으로 학습해 모델을 생성하고, 모델에 새로운 데이터를 입력했을 때 미지의 레이블 값을 예측하게 하는 것이다. 즉, 기존 데이터가 어떤 레이블에 해당하는가에 대한 패턴을 알고리즘으로 인지한 뒤, 새로 관측한 데이터의 레이블을 판별하는 것이다.
분류알고리즘의 소개할 첫 번째 방법은 결정 트리이다.
결정 트리는 데이터에 있는 규칙을 학습을 통해 자동으로 찾아내, 트리 기반의 분류 규칙을 만드는 것이다. 일반적으로 if/else 기반으로 많이 표현한다.
간략하게 나타낸 결정 트리의 구조이다.
규칙 노드라고 쓰여진 노드는 규칙 조건이 되며, 리프 노드라고 쓰여진 노드는 조건에 의해 결정된 클래스 값이다. 그리고 새로운 규칙 조건이 생길 때마다 서브 트리가 생성된다. 데이터 세트에 피처가 있고, 이 피처가 결합되어 규칙 조건이 생성될 때마다 규칙 노드가 만들어진다.
규칙이 많아진다는 것은 곧 분류 방식이 복잡해진다는 뜻이고, 이것은 훈련 데이터에 대한 과적합으로 이어지기 쉬워진다. 루트 노드부터 마지막 리프 노드까지 몇 번이나 규칙이 생성되었는지를 깊이(depth)라고 표현하는데, 이 깊이가 깊어질수록 결정 트리의 예측 성능이 저하될 가능성이 높아진다.
따라서, 가능한 적은 결정 노드 숫자로 높은 예측 정확도를 가지기 위해서는 데이터를 분류할 때 최대한 많은 데이터 세트가 해당 분류에 속할 수 있는 규칙을 만들어야 한다. 이를 위해서는 트리를 어떻게 분할할 것인지가 가장 중요한데, 최대한 균일한 데이터세트를 구성할 수 있도록 분할할 필요가 있다.
위 그림을 통해 균일한 데이터 세트란 어떤 것인지 알 수 있다.
가장 균일도가 높은 데이터 세트부터 나열하면 A - C - B가 된다.
데이터 세트의 균일도는 데이터를 구분하는데 필요한 정보의 양에 영향을 미친다. 데이터세트 A에서는 어떤 데이터를 선택하더라도 검은색 공이 선택되기 때문에 예측이 쉬우나, B에서는 상대적으로 혼잡도가 높고 균일도가 낮기 때문에 데이터를 판단하는 데 있어 더 많은 정보가 필요하게 되는 것이다.
따라서 결정 노드는 정보 균일도가 높은 데이터 세트를 먼저 선택하게끔 규칙 조건을 만든다. 즉, 정보 균일도가 높은 데이터 세트로 쪼개질 수 있도록 조건을 찾아 서브 데이터 세트를 만들고, 만들어진 서브 데이터 세트에서 다시 정보 균일도가 높아질 조건을 찾아 서브 데이터를 만드는 방식을 반복하는 방식으로 값을 예측하게 된다.
이러한 정보의 균일도를 측정하는 방법은 대표적으로 엔트로피를 이용한 정보 이득(Information Gain)과 지니 계수가 있다.
· 정보 이득은 엔트로피 개념을 기반으로 한다. 엔트로피는 주어진 데이터 집합의 혼잡도를 의미하는데, 서로 다른 값이 섞여있으면 엔트로피가 높고, 같은 값이 섞여있으면 엔트로피가 낮다. 정보 이득 지수는 1에서 엔트로피 지수를 뺀 값, 즉 1-엔트로피 = 정보이득지수 가 된다. 결정 트리는 이 정보이득지수가 높은 속성을 기준으로 데이터세트를 분할한다.
· 지니계수는 경제학에서 불평등 지수를 나타낼 때 사용하는 계수이다. 경제학자인 코라도 지니의 이름에서 딴 계수로, 0이 가장 평등하고 1로 갈수록 불평등하다. 머신러닝에 적용될 때는 데이터 균일도가 높은 것으로 해석해, 지니 계수가 낮은 속성을 기준으로 분할하게 된다.
지도학습은 명시적인 정답이 있는 데이터가 주어진 상태에서 학습하는 기계학습 방식이다. 데이터를 입력하고, 이 데이터에 대한 정답인 레이블을 붙인 학습 데이터로 모델을 학습시킨다. 지도학습에는 대표적으로 분류와 회귀, 두 가지 방법론이 있다.
분류는 주어진 학습 데이터의 피처와 레이블 값을 알고리즘으로 학습해 모델을 생성하고, 모델에 새로운 데이터를 입력했을 때 미지의 레이블 값을 예측하게 하는 것이다. 즉, 기존 데이터가 어떤 레이블에 해당하는가에 대한 패턴을 알고리즘으로 인지한 뒤, 새로 관측한 데이터의 레이블을 판별하는 것이다.
분류알고리즘의 소개할 첫 번째 방법은 결정 트리이다.
결정 트리는 데이터에 있는 규칙을 학습을 통해 자동으로 찾아내, 트리 기반의 분류 규칙을 만드는 것이다. 일반적으로 if/else 기반으로 많이 표현한다.
간략하게 나타낸 결정 트리의 구조이다.
규칙 노드라고 쓰여진 노드는 규칙 조건이 되며, 리프 노드라고 쓰여진 노드는 조건에 의해 결정된 클래스 값이다. 그리고 새로운 규칙 조건이 생길 때마다 서브 트리가 생성된다. 데이터 세트에 피처가 있고, 이 피처가 결합되어 규칙 조건이 생성될 때마다 규칙 노드가 만들어진다.
규칙이 많아진다는 것은 곧 분류 방식이 복잡해진다는 뜻이고, 이것은 훈련 데이터에 대한 과적합으로 이어지기 쉬워진다. 루트 노드부터 마지막 리프 노드까지 몇 번이나 규칙이 생성되었는지를 깊이(depth)라고 표현하는데, 이 깊이가 깊어질수록 결정 트리의 예측 성능이 저하될 가능성이 높아진다.
따라서, 가능한 적은 결정 노드 숫자로 높은 예측 정확도를 가지기 위해서는 데이터를 분류할 때 최대한 많은 데이터 세트가 해당 분류에 속할 수 있는 규칙을 만들어야 한다. 이를 위해서는 트리를 어떻게 분할할 것인지가 가장 중요한데, 최대한 균일한 데이터세트를 구성할 수 있도록 분할할 필요가 있다.
위 그림을 통해 균일한 데이터 세트란 어떤 것인지 알 수 있다.
가장 균일도가 높은 데이터 세트부터 나열하면 A - C - B가 된다.
데이터 세트의 균일도는 데이터를 구분하는데 필요한 정보의 양에 영향을 미친다. 데이터세트 A에서는 어떤 데이터를 선택하더라도 검은색 공이 선택되기 때문에 예측이 쉬우나, B에서는 상대적으로 혼잡도가 높고 균일도가 낮기 때문에 데이터를 판단하는 데 있어 더 많은 정보가 필요하게 되는 것이다.
따라서 결정 노드는 정보 균일도가 높은 데이터 세트를 먼저 선택하게끔 규칙 조건을 만든다. 즉, 정보 균일도가 높은 데이터 세트로 쪼개질 수 있도록 조건을 찾아 서브 데이터 세트를 만들고, 만들어진 서브 데이터 세트에서 다시 정보 균일도가 높아질 조건을 찾아 서브 데이터를 만드는 방식을 반복하는 방식으로 값을 예측하게 된다.
이러한 정보의 균일도를 측정하는 방법은 대표적으로 엔트로피를 이용한 정보 이득(Information Gain)과 지니 계수가 있다.
· 정보 이득은 엔트로피 개념을 기반으로 한다. 엔트로피는 주어진 데이터 집합의 혼잡도를 의미하는데, 서로 다른 값이 섞여있으면 엔트로피가 높고, 같은 값이 섞여있으면 엔트로피가 낮다. 정보 이득 지수는 1에서 엔트로피 지수를 뺀 값, 즉 1-엔트로피 = 정보이득지수 가 된다. 결정 트리는 이 정보이득지수가 높은 속성을 기준으로 데이터세트를 분할한다.
· 지니계수는 경제학에서 불평등 지수를 나타낼 때 사용하는 계수이다. 경제학자인 코라도 지니의 이름에서 딴 계수로, 0이 가장 평등하고 1로 갈수록 불평등하다. 머신러닝에 적용될 때는 데이터 균일도가 높은 것으로 해석해, 지니 계수가 낮은 속성을 기준으로 분할하게 된다.