서포트 벡터 머신(SVM)

서포트 벡터 머신(SVM)

서포트 벡터 머신(SVM)은 지도 학습 모델 중 하나로, 주로 분류 문제를 해결하는 데 사용됩니다. 이 모델은 데이터 포인트를 분류하기 위해 결정 경계(하이퍼플레인)를 찾는 것을 목표로 합니다.

기본 개념

SVM의 기본 아이디어는 데이터 포인트들을 고차원 공간에 매핑하고, 이들 사이에 가장 넓은 마진을 가지는 결정 경계를 찾는 것입니다.

선형 SVM과 결정 경계

선형 SVM에서는 데이터 포인트들을 선형적으로 구분하는 하이퍼플레인을 찾습니다. 이 하이퍼플레인은 다음과 같은 형태를 가집니다:

\[w \cdot x + b = 0\]

여기서

\(\( w \)\)는 가중치 벡터, \(\( b \)\)는 바이어스입니다.

마진

마진은 결정 경계와 서포트 벡터 사이의 거리를 나타냅니다. SVM은 이 마진을 최대화하는 하이퍼플레인을 찾으려고 합니다.

커널 트릭과 비선형 SVM

선형적으로 구분이 불가능한 데이터셋의 경우, 커널 트릭을 사용하여 고차원 공간에서 분류할 수 있습니다. 대표적인 커널에는 다음과 같은 것들이 있습니다:

• 선형 커널
• 다항식 커널
• 라디얼 기저 함수(RBF) 커널
• 시그모이드 커널

손실 함수와 최적화

SVM의 학습 과정에서는 손실 함수를 최소화하는 것이 목표입니다. 손실 함수는 마진 오류를 측정하고, 이를 최소화하기 위한 파라미터 ( w )와 ( b )를 찾는 것이 중요합니다.