Linear Algebra [1] : 행렬 분해 기법 : 특이값과 고유값 분해

 

특이값 분해 (SVD)

 

특이값 분해(Singular Value Decomposition, SVD)는 선형대수학에서 매우 중요한 행렬 분해 기법이다. 이는 주로 데이터 압축, 차원 축소, 노이즈 제거, 추천 시스템 등 다양한 응용 분야에서 활용된다. SVD는 임의의 m×nm \times nm×n 크기의 행렬 AAA를 세 개의 행렬로 분해하며, 이를 수학적으로 A=UΣVTA = U \Sigma V^TA=UΣVT로 표현한다. 여기서 UUU는 m×mm \times mm×m 크기의 직교행렬로 AATA A^TAAT의 고유벡터를 열 벡터로 가지며, VTV^TVT는 n×nn \times nn×n 크기의 직교행렬로 ATAA^T AATA의 고유벡터를 행 벡터로 가진다. Σ\SigmaΣ는 m×nm \times nm×n 크기의 대각 행렬로, 대각선 요소에 AAA의 특이값(singular value)을 담고 있다. 특이값은 항상 0 이상인 실수이며, 보통 크기 순으로 정렬된다.

SVD의 주요 특징은 행렬의 랭크와 관련이 있다. 행렬 Σ\SigmaΣ의 대각선에서 0이 아닌 특이값의 개수가 행렬 AAA의 랭크와 동일하다. 또한, UUU와 VVV는 각각 행렬 AAA의 열 방향과 행 방향의 주요 모드를 나타낸다. 이를 통해 데이터를 저차원에서 효과적으로 표현할 수 있다. 예를 들어, PCA(주성분 분석)에서는 SVD를 활용하여 고차원 데이터에서 중요한 주성분만 남기고, 나머지 잡음을 제거하는 방식으로 차원 축소를 수행한다.