Mathematics/Linear Algebra 31

최소제곱법, 최소자승법(Least Squares Method), 정사영 행렬(Projection Matrix), Normal Equation에 대한 개념 정리

현실의 문제는 해가 정확히 1개가 존재하는, 유일한 해가 있는 방정식으로 풀기 어려운 것이 대부분입니다. 따라서, 우리는 정확히 매칭되는 정답이 아닌, 근사해(approximated solution)를 구해야합니다. 근사해를 구하기 위해 우리는 최소자승법 (또는 최소제곱법)을 적용하여 회귀분석을 하고, 식을 얻을 수 있습니다. (최소자승법은 영어로 Least Squares Method, Least squares,Least squaresapproximation라고 할 수 있습니다.) 최소 제곱법에서 근사해를 구하는 것은 아래의 3가지와 같습니다. 해가 정확히 일치하지는 않지만, 실제값과의 차이가 별로 나지 않는 해를 구하는 것 실제값과 예측값의 오차가 최소화되는 것 실제값과 가장 가까운 예측값을 구하는 것..

Norm이란? L1 Norm, L2 Norm 설명

Norm (노름) : 벡터의 절대적인 크기. 또는 두 벡터 간의 거리. 기호로는 || X || 라고 표시한다. (X는 벡터) Norm의 차수 : Lp-norm, p-norm이라고 표현하고, 이때 p가 norm의 차수이다. * 위키백과 L1 norm p = 1 맨해튼 거리 각 요소(의 차이)에 대한 절대값을 취해 모두 더한 값 (절대적인 값) 절대값을 취하기 때문에, 이상치(outliers)에도 덜 민감하다. 예시 : 격자 모양의 도로망에서 최단 거리를 구하는 방식 딥러닝에서의 활용예시 : L1 loss = 실제값과 예측값의 차이에 대한 절대값의 합. L1 loss의 평균 = MAE (Mean Absolute Error) L2 norm p = 2 유클리디안 거리 각 요소(의 차이)에 대해 제곱을 취해 모두..