차원 축소

차원의 저주

차원의 저주 커질수록 데이터 포인트들 간 거리가 크게 늘어남, 데이터가 희소화(Sparse) 됨

수백~수천개 이상의 피처로 구성도니 포인트들간 거리에 기반한 ml 알고리즘이 무력화됨

또한 피처가 많을 경우 개별 피처간에 상관관계가 높아 선형 회귀와 같은 모델에서는 다중 공선성 문제로 모델의 예측 성능이 저하 될 가능성이 높음

수십 ~ 수백개의 피처들을 작은 수의 피처들로 축소한다면?

• 학습 데이터 크기를 줄여서 학습 시간 절약
• 불필요한 피처들을 줄여서 모델 성능 향상에 기여(주로 이미지 관련 데이터)
• 다차원의 데이터를 3차우너 이하의 차원 축소를 통해서 시각적으로 보다 쉽게 데이터 패턴 인지

피처 선택과 피처 추출

일반적으로 차춴축소는 피처 선택과 피처 추출로 나눌 수 있다.

피처 선택

특정 피처에 종속성이 강한 불필요한 피처는 아예 제거하고, 데이터의 특징을 잘 나타내는 주요 피처만 선택하는 것

피처 추출

피처(특성) 추출은 기존 피처를 저차원의 중요 피처로 압축해서 추출하는 것입니다. 이렇게 새롭게 추출된 중요 특성은 기존의 피처를 반영해 압축된 것이지만 새로운 피처로 추출하는 것입니다.

피처 추출은 기존 피처를 단순 압축이 아닌, 피처를 함축적으로 더 잘 설명할 수 있는 또 다른 공간으로 매핑해 추출하는 것

데이터셋에 잠재되어 있는 특성을 찾는다

차원 축소의 의미

차원 축소는 단순히 데이터의 압축을 의미하는 것이 아니다. 더 중요한 의미는 차원 축소를 통해 좀 더 데이터를 잘 설명할 수 있는 잠재적(Latent)인 요소를 추출하는 데에 있다.

사용 예

• 추천 엔진
• 이미지 분류 및 변환
• 문서 토픽 모델링

출처 : 인프런, 파이썬 머신 러닝 완벽 가이드