머신러닝 | 특징 추출

특징 추출의 목적

• 분석에 불필요한 정보는 제거하고 필요한 핵심 정보만 추출
• 차원 축소를 통해 학습 시스템의 효율을 향상시킴 

 

Dimension Reduction 차원 축소 

• 데이터 분석에 핵심이 되는 정보만 남기기 위해 차원을 축소함
• 차원 축소를 통해 학습 시스템의 속도 + 성능 효율을 향상시킴 
• 모델 학습에 불필요한 피처(속도 향상)나 방해되는 피처(성능 향상)를 제거 
• 방해되는 피처는 over fitting 문제를 발생시키는 피처
• 이에 입력차원이 늘어남에 따라 처리의 정확도가 저하되는 차원의 저주 현상이 발생 

 

PCA (Principal Component Analysis) 주성분분석 알고리즘 

주성분 분석 PCA

• 전체 데이터의 분포를 가장 잘 설명할 수 있는 주성분을 찾는 방법론 
• 데이터가 가장 넓게 떨어져있는 방향을 찾는 것 
• 주성분이란 그 방향으로 데이터들의 분산이 가장 큰 방향벡터를 의미함
• 데이터를 어떤 방향으로 투영(projection) 시켰을때 방향 벡터가 평균으로부터 가장 많이 떨어질 수 있는 방향벡터를 주성분이라 함

 

투영 (=사영, projection)

투영(사영)의 개념은 원래 우리가 알고 있는 단어 자체의 뜻처럼 빛을 비추는 것과 관련이 있다. 
어떤 물체(점, 선, 면이 될 수 있다)에 빛을 비추어서 그림자를 드리울 때, 그 물체의 그림자를 원래 original 물체의 사영 projection 이라고 한다. 그래서 투영시킨다는 것은 원래 물체를 그림자에다가 옮기는 작용이다. 

 

분산

각 데이터 샘플 값에서 데이터 평균값을 빼서 제곱한 값을 다 더한 후 데이터 샘플 수 만큼 나눈 것이다.

 

주성분 찾는 법

 

 

 

원래 데이터 분포 중에서 어떤 임의의 벡터(방향)를 긋는다.

원래 데이터를 그 벡터에 투영을 시켰을 때, 투영된 데이터들이 평균으로부터 얼만큼 떨어져있는지를 나타내는 분산을 구한다.

여러개의 벡터 중에서 데이터가 가장 넓게 퍼질 수 있는 방향을 찾아야하므로 분산이 가장 큰 방향 벡터를 찾는다.

이때 그 방향 벡터가 주성분이 되고, 이 주성분을 찾는 행위를 주성분 분석이라고 한다.

 

주성분 분석법의 목적

• 데이터의 분산이 가장 큰 방향으로 선형변환을 수행하여 정보의 손실을 최소화
• 분산이 크다는 건 데이터가 가장 넓게 퍼져있어 구분하기가 쉬운 것
• 원래 정보 손실을 최소화하기 위해서는 데이터 집합이 가능한 넓게 퍼질 수 있는 방향으로 투영(사영)을 수행하는 것이 바람직함 
• 주성분 방향벡터를 찾아 데이터를 투영시켜 차원을 한 단계 낮춤 

 

 

왼쪽에서 주성분으로 선발된 방향벡터를 오른쪽 그림처럼 그대로 새로운 x축으로 옮긴다. (주성분이 새로운 x축이 되어 표현됨)

왼쪽에서는 2차원의 데이터였지만, 찾은 주성분을 기준으로 새로운 축을 만들었더니 1차원의 데이터가 되어 차원이 한 단계 낮춰지게된다. 

 

주성분 분석법의 특성

• 데이터 분석에 특별한 목적이 없는 경우에는 주성분분석 방법이 가장 합리적인 차원 축소 방법임
• 클래스 레이블 정보를 활용하지 않는 비지도 학습 

 

주성분 분석법의 문제점 

• 비지도학습
  • 클래스 레이블 정보를 활용하지 않으므로 분류 문제에 적합하지 않은 특징 추출임 - 분류 문제는 분류에 적합한 LDA(선형판별분석법)로 특징추출 필요

• 선형변환의 한계
  • 기본적으로 선형변환을 가정하므로 데이터 자체가 비선형 구조로 분포된 경우 사영할 수 없어 2차원 데이터 구조를 제대로 표현할 수 없음

 

 

Refs

한국방송통신대학교 머신러닝 강의 및 교재

https://www.youtube.com/watch?v=n3W2UgWWWfY&t=548s

https://statisticsbyjim.com/basics/principal-component-analysis/

https://ko.wikipedia.org/wiki/%EC%82%AC%EC%98%81