Norm (노름) : 벡터의 절대적인 크기. 또는 두 벡터 간의 거리. 기호로는 || X || 라고 표시한다. (X는 벡터)
Norm의 차수 : Lp-norm, p-norm이라고 표현하고, 이때 p가 norm의 차수이다.
* 위키백과
L1 norm
- p = 1
- 맨해튼 거리
- 각 요소(의 차이)에 대한 절대값을 취해 모두 더한 값 (절대적인 값)
- 절대값을 취하기 때문에, 이상치(outliers)에도 덜 민감하다.
- 예시 : 격자 모양의 도로망에서 최단 거리를 구하는 방식
- 딥러닝에서의 활용예시 : L1 loss = 실제값과 예측값의 차이에 대한 절대값의 합. L1 loss의 평균 = MAE (Mean Absolute Error)
L2 norm
- p = 2
- 유클리디안 거리
- 각 요소(의 차이)에 대해 제곱을 취해 모두 더한 뒤 제곱근을 구한 값 (상대적인 값)
- 제곱을 하기 때문에, 차이가 클수록 더 큰 차이로 반영됨.
- 예시 : 3차원 벡터 공간의 두 벡터가 떨어져있는 거리를 구하는 것.
- 딥러닝에서의 활용예시 : L2 loss = 실제값과 예측값의 오차들의 제곱합. L2 loss의 평균 = MSE(Mean Squared Error), 평균의 제곱근 : RMSE(Root Mean Squeared Error)
L∞ norm
- p = 무한대로 발산
- 벡터의 요소 중에서 가장 큰 값으로 수렴하게 된다.
Normed Vector Space = Normed Linear Space (노름 공간) : 원소로 '길이' 또는 '크기'가 부여된 벡터 공간
노름을 정의할 땐, (V, d) 쌍을 활용할 수 있다.
V는 거리 공간에 속하는 벡터공간이고, d는 V * V ∈ ℝ 에 대응되는 함수이다.
거리 공간에서의 거리 함수(Distance function)를 d(x, y)로 표기할 수 있고, 노름공간에서의 노름을 ||x - y||로 표기할 수 있다. (1) Norm = 벡터공간 V에 존재하는 x, y벡터 사이의 거리. (2) Metric space (거리공간) = 두 점 사이의 거리가 정의된 공간
* 참고 강의
아래의 그림은 데이터 사이언스에서 norm 개념을 사용하는 예시이다. 최적의 선형회귀모델을 구한다는 말은 예측값과 실제값의 차이(거리)가 최소가 되는 모델을 구하는 것 = 최소의 norm(노름)을 구하는 것과 같다.
Lp Norm, spaces 개념에 대한 내용은 추후에 추가할 예정이며, 아래의 내용은 수정될 예정입니다.
* 위키백과
* Lp spaces는 유한차원의 벡터공간에서의 p-norm에 대한 일반화된 함수 공간들이다.
(In mathematics, the Lp spaces are function spaces defined using a natural generalization of the p-norm for finite-dimensional vector spaces.)
* 르베그 공간(Lebesgue space)라고도 불린다.
위의 공간에서 p-norm을 정의하게 되는데, 이에 따라 norm의 차수에 따른 norm을 구하는 식의 일반화를 Lp-norm, p-norm으로 아래의 수식처럼 표현될 수 있다.
* 참고 강의 2
'Mathematics > Linear Algebra' 카테고리의 다른 글
| 최소제곱법, 최소자승법(Least Squares Method), 정사영 행렬(Projection Matrix), Normal Equation에 대한 개념 정리 (0) | 2023.09.14 |
|---|---|
| [칸아카데미] 모두를 위한 선형대수학 - (28) 열공간의 차원, 기저 열과 축열의 관계, 후보 기저의 A의 열공간 생성 (1) | 2023.04.04 |
| [칸아카데미] 모두를 위한 선형대수학 - (27) 영공간의 차원 (0) | 2023.03.12 |
| [칸아카데미] 모두를 위한 선형대수학 - (26) 어떠한 부분간의 기저도 원소의 수가 같습니다. (0) | 2023.03.12 |
| [칸아카데미] 모두를 위한 선형대수학 - (25) R3에 있는 열공간을 평면으로 시각화하기 (0) | 2022.12.29 |