AI와 데이터의 모든 것

* 공부용으로 자료 조사한 것들을 토대로 정리한 내용입니다. 틀린 내용이 있다면 댓글 부탁드립니다. 활성화 함수란, 비선형 신경망 모델을 만들기 위해 각 뉴런의 Linear Function(Weighted Sum, Affine Transformation,,,)의 결과값에 적용해 주는 함수이다. 하나를 예로 들면, 딥러닝을 위한 신경망 모델(neural networks)의 각 층(Layer)에서 각 뉴런(Neuron)에 Input Data(x)가 입력되면 Affine function(f(x) = z = wx + b), 활성화함수(g(wx + b))를 통해 Output Data가 출력값으로 나온다. g(f(x))라는 합성함수 형태가 하나의 뉴런 안에서 수행되는 연산이다. 이 출력값을 다음 레이어의 입력값으로..

08-01 순환 신경망(Recurrent Neural Network, RNN) - 딥 러닝을 이용한 자연어 처리 입문 글을 참고하여 공부한 내용을 정리하였습니다. 순서를 가지는 Sequence 데이터를 입력값과 출력값으로 가지는 경우 Sequential Model을 사용할 수 있다. 그 중 가장 처음 고안된 신경망 모델이 바로 RNN이다. 데이터 시퀀스를 처리하는 모델로 각 시간 단계를 독립적인 레이어로 처리할 수 있게 구성되어 RNN unrolling technique라는 용어가 사용된다. (참고논문) LSTM이나 GRU도 근본적으로는 RNN을 기반으로 발전된 모델들이다. 시퀀스 모델은 기계번역, 문서 요약 등의 자연어 처리 모델에서 주로 활용된다. RNN모델의 architecture 구성을 자세히 살..

Digital Image는 2차원 함수 f(x,y)로 정의될 수 있다. x와 y는 공간 평면 상의 좌표이고, f의 진폭(amplitude)은 이미지의 어떤 좌표 x, y의 intensity(감도) 또는 gray-level (회색도)로 불린다. x, y, intensity values of f는 모두 유한한 수이다. (finite number, discrete quantities) Digital Image는 위치와 값을 가지는 요소들로 구성된다. 그 요소들을 picture elements,image elements, pels, pixels 라고 부른다. 이미지/영상은 기본적으로 전자기 스펙트럼 (EM Spectrum; Electro-Magnetic Spectrum)에 기반하여 영상의 픽셀값이 정해진다. I..

제일 먼저, Computer Vision 영역에서 예전부터 가장 흔히 접해왔던 생성형 AI를 활용한 사례이다. Synthetic Image (합성 이미지) 생성 1) Style Transfer : 이미지의 그림체와 같은 스타일을 입혀 새로운 이미지를 생성해내는 기술. 보통 예술가들의 색채나 그림체를 가져와서 나의 이미지에 입혀주는 등의 사례가 바로 이 기술이다. style image와 normal image의 합성이다. 2) Image Inpainting : 이미지의 일부 영역에 새로운 이미지로 값을 생성해내는 기술. 이미지 속에서 배경의 어떤 객체를 지우고, 실제로 그 객체가 없었던 것처럼 자연스러운 배경을 생성해주는 사례가 이 기술이다. (missing regions in image 참고예시 - er..

먼저 Confusion Matrix(혼동행렬)란, 이진분류(Binary Classification) 나 다중분류(Multiclass Classification)에서 어떤 모델의 분류가 잘 되었는지 평가하기 위해 모델의 결과를 시각화한 표 또는 행렬이다. Binary Classification 이진 분류란, 1 또는 0 = Positive 또는 Negative 둘 중에 하나로 분류되는 경우를 이진 분류라고 한다. 쉽게 예를 들면, 어떤 사진을 보고 이 사진이 강아지냐 고양이냐를 판단하는 것을 이진 분류라고한다. 이진 분류의 Confusion Matrix는 실제값=정답값=Actual과 예측값=Predicted를 행 또는 열로 가지고, 일치하는 개수를 행렬의 원소로 입력한 모습이 된다. 예를 들어 강아지냐 고..

선형 회귀를 통한 분류모델 예를들어 [개=1, 고양이=2, 사자=3, 얼룩말=4]와 같은 방식으로 라벨링(A)을 했을 때와 [개=1, 고양이=2,,,,,,,,, 사자=99, 얼룩말=100]이라는 라벨링(B)을 했을 때를 비교해보자 A방식으로 모델을 학습시키고, 나온 결과에 대해 손실함수(ex. MSE)를 계산했을 때는 그 값이 매우 작을 수 있다. 하지만 B처럼 똑같은 클래스에 다른 라벨링을 해주면 손실값이 매우 커질 수 있다. 따라서 다른 손실함수나 선형회귀가 아닌 다른 모델이 필요하다. * 시그모이드 함수 (Sigmoid Function) - x가 0이하일 땐 y값이 0.5이하, 0이상일 땐 0.5이상이 되게 하는 활성화 함수 로지스틱 회귀를 통한 분류모델 오즈(odds) : 가능성 (성공할 확률 /..

"Detection" - 어떤 객체가 있는지 없는지, 어디에 있는지 검출하는 것 - ex) 사진 속에 어떤 객체가 있다. O/X "Recognition" - 해당 객체가 어떤 객체인지 인식하는 것 - 어떤 class인지 구별해내는 것 - ex) 사진 속에 객체는 강아지이다. "Identification" - 그 객체가 어떤 특징을 가지고 있는지 이해하는 것 - ex) 사진 속에 강아지가 목줄을 매고 산책을 하고 있다.

https://youtu.be/oyzIT1g1Z3U 1. 검증 데이터셋을 활용한 머신러닝 모델 학습 - 기존의 학습, 평가 데이터셋으로만 진행하던 것에서 검증데이터셋을 추가하여 학습의 정확도를 높히는 방법 - 학습된 모델을 중간점검하는 느낌 # LOOCV (Leave One Out Cross Validation) 방법론 - 모든 학습 데이터 샘플 1개마다 검증하는 방법 - (오직 한개의 데이터 샘플로만 검증하는 것은 편향된 결과를 주기 때문) - 모든 데이터로 검증하기 때문에 계산량이 매우 높아짐 # K-fold cross validation(교차검증) 방법론 - 계산량이 많은 LOOCV의 단점을 보완하기 위한 목적 - (사람이 입력) 학습데이터를 K개로 쪼개서 순서대로 검증하는 방식 - K값이 커질수록..

https://youtu.be/oyzIT1g1Z3U * 간단한 모델은 파라미터 수가 낮고, 복잡한 모델은 파라미터 수가 많다. * 예측값에 대한 MSE는 예측값에 대한 분산(Variance)과 편차(Bias)의 합이다. - 편향과 분산은 모델을 평가할 때 아주 중요한 요소이다. # 편차/편향(Bias) : [실제값]과 [예측값(들의 평균값)]의 차이 # 분산(Variance) : 예측값들간의 차이 ([예측값1]과 또 다른 [예측값2,,,,n]의 차이들) # Trade-off : 분산과 편향이 모두 낮은 지점 - 이 순간의 파라미터값을 찾는 것이 머신러닝의 목표 * 오버피팅 (Overfitting) - 데이터수는 부족하고 모델은 복잡할 때에 발생할 수 있는 과적합 현상 - 여러 예측값들 사이의 차이 = 분..

https://youtu.be/oyzIT1g1Z3U * 편미분 : 원하는 변수에 대해서만 미분하는 것 (원하는 변수 이외에는 상수 취급) * 연쇄 법칙 (chain rule) : 상쇄되는 현상을 이용해 새로운 u를 대입하여 미분값을 구하는 방법 * 손실함수(Loss Function) - 머신러닝 모델을 평가하기 위함 - ex. MSE (Mean Square Error) : 회귀모델의 대표 손실함수 # 최소 제곱법 (Least Square Method) - MSE 방법을 활용하여 풀이할 수 있음 - 최적의 파라미터를 구하기 위한 방법 중 하나 - 데이터에 대한 오차를 최소화하도록 함 - 단순한 선형회귀의 경우, (오차가 존재하지만) 최적의 해를 구할 수 있지만, 복잡한 모델의 경우, 최소 제곱법으로 해결하..