AI와 데이터의 모든 것

Multi-granularity feature는 딥러닝에서 다양한 해상도 또는 크기의 특징을 함께 사용하여 모델의 성능을 향상시키는 기술입니다. 이는 모델이 서로 다른 *추상화 수준에서 정보를 학습할 수 있도록 도와줍니다. * 추상화 : 딥러닝 모델이 데이터로부터 패턴을 학습할 때, 다양한 추상화 수준으로 패턴을 학습하게 되는데, 추상화라는 것은 데이터의 상세한 부분부터 전반적인 개요까지의 정보를 단순화하는 과정이다. 이미지 데이터는 다양한 크기와 해상도의 특징을 가질 수 있습니다. Multi-granularity feature는 이러한 특징들을 다양한 관점으로 모델에 통합하여 학습하고, 이를 통해 더욱 풍부한 정보를 활용할 수 있습니다. 예를 들어, 모델은 낮은 해상도 이미지에 대해서 전체 이미지의 개..

* 공부용으로 자료 조사한 것들을 토대로 정리한 내용입니다. 틀린 내용이 있다면 댓글 부탁드립니다. 활성화 함수란, 비선형 신경망 모델을 만들기 위해 각 뉴런의 Linear Function(Weighted Sum, Affine Transformation,,,)의 결과값에 적용해 주는 함수이다. 하나를 예로 들면, 딥러닝을 위한 신경망 모델(neural networks)의 각 층(Layer)에서 각 뉴런(Neuron)에 Input Data(x)가 입력되면 Affine function(f(x) = z = wx + b), 활성화함수(g(wx + b))를 통해 Output Data가 출력값으로 나온다. g(f(x))라는 합성함수 형태가 하나의 뉴런 안에서 수행되는 연산이다. 이 출력값을 다음 레이어의 입력값으로..

08-01 순환 신경망(Recurrent Neural Network, RNN) - 딥 러닝을 이용한 자연어 처리 입문 글을 참고하여 공부한 내용을 정리하였습니다. 순서를 가지는 Sequence 데이터를 입력값과 출력값으로 가지는 경우 Sequential Model을 사용할 수 있다. 그 중 가장 처음 고안된 신경망 모델이 바로 RNN이다. 데이터 시퀀스를 처리하는 모델로 각 시간 단계를 독립적인 레이어로 처리할 수 있게 구성되어 RNN unrolling technique라는 용어가 사용된다. (참고논문) LSTM이나 GRU도 근본적으로는 RNN을 기반으로 발전된 모델들이다. 시퀀스 모델은 기계번역, 문서 요약 등의 자연어 처리 모델에서 주로 활용된다. RNN모델의 architecture 구성을 자세히 살..