Mathematics 33

수의 범위(range)를 괄호로 표현하기

( ) 소괄호는 초과, 미만을 표현하는 기호. [ ] 대괄호는 이상, 이하를 표현하는 기호. (0, 10) : 0초과 10미만 = 0 < x < 10 (0, 5] : 0초과 5이하 = 0 < x ≤ 5 [0, 20) : 0이상, 20미만 = 0 ≤ x < 20 기호가 헷갈릴 때가 있는데, 대괄호가 더 크다!는 의미니까 대괄호가 있는건 더 많은 수를 포괄할 수 있다(는 연상법으로) = 이상, 이하를 의미한다. 소괄호는 작기때문에 수의 범위도 더 작다(고 연상하여) = 초과, 미만의 범위다라고 생각하면 쉽게 외워질듯하다.

Mathematics 2023.09.18

최소제곱법, 최소자승법(Least Squares Method), 정사영 행렬(Projection Matrix), Normal Equation에 대한 개념 정리

현실의 문제는 해가 정확히 1개가 존재하는, 유일한 해가 있는 방정식으로 풀기 어려운 것이 대부분입니다. 따라서, 우리는 정확히 매칭되는 정답이 아닌, 근사해(approximated solution)를 구해야합니다. 근사해를 구하기 위해 우리는 최소자승법 (또는 최소제곱법)을 적용하여 회귀분석을 하고, 식을 얻을 수 있습니다. (최소자승법은 영어로 Least Squares Method, Least squares,Least squaresapproximation라고 할 수 있습니다.) 최소 제곱법에서 근사해를 구하는 것은 아래의 3가지와 같습니다. 해가 정확히 일치하지는 않지만, 실제값과의 차이가 별로 나지 않는 해를 구하는 것 실제값과 예측값의 오차가 최소화되는 것 실제값과 가장 가까운 예측값을 구하는 것..

Norm이란? L1 Norm, L2 Norm 설명

Norm (노름) : 벡터의 절대적인 크기. 또는 두 벡터 간의 거리. 기호로는 || X || 라고 표시한다. (X는 벡터) Norm의 차수 : Lp-norm, p-norm이라고 표현하고, 이때 p가 norm의 차수이다. * 위키백과 L1 norm p = 1 맨해튼 거리 각 요소(의 차이)에 대한 절대값을 취해 모두 더한 값 (절대적인 값) 절대값을 취하기 때문에, 이상치(outliers)에도 덜 민감하다. 예시 : 격자 모양의 도로망에서 최단 거리를 구하는 방식 딥러닝에서의 활용예시 : L1 loss = 실제값과 예측값의 차이에 대한 절대값의 합. L1 loss의 평균 = MAE (Mean Absolute Error) L2 norm p = 2 유클리디안 거리 각 요소(의 차이)에 대해 제곱을 취해 모두..