AI와 데이터의 모든 것

Multi-granularity feature는 딥러닝에서 다양한 해상도 또는 크기의 특징을 함께 사용하여 모델의 성능을 향상시키는 기술입니다. 이는 모델이 서로 다른 *추상화 수준에서 정보를 학습할 수 있도록 도와줍니다. * 추상화 : 딥러닝 모델이 데이터로부터 패턴을 학습할 때, 다양한 추상화 수준으로 패턴을 학습하게 되는데, 추상화라는 것은 데이터의 상세한 부분부터 전반적인 개요까지의 정보를 단순화하는 과정이다. 이미지 데이터는 다양한 크기와 해상도의 특징을 가질 수 있습니다. Multi-granularity feature는 이러한 특징들을 다양한 관점으로 모델에 통합하여 학습하고, 이를 통해 더욱 풍부한 정보를 활용할 수 있습니다. 예를 들어, 모델은 낮은 해상도 이미지에 대해서 전체 이미지의 개..

이 글을 읽기 전에 해당 내용은 08-02 장단기 메모리(Long Short-Term Memory, LSTM) - 딥 러닝을 이용한 자연어 처리 입문 을 보고 공부한 내용입니다. 잘못된 부분이 있다면 댓글 부탁드립니다. 아래의 내용을 보기 전에 RNN을 먼저 공부하고 오시는 것을 추천드립니다! https://kyull-it.tistory.com/139 RNN(Recurrent Neural Network) 순환신경망 공부하기 08-01 순환 신경망(Recurrent Neural Network, RNN) - 딥 러닝을 이용한 자연어 처리 입문 글을 참고하여 공부한 내용을 정리하였습니다. RNN은 Input값과 Output값을 Sequence 단위로 끊어서 처리하는 Sequence Model kyull-it...

* 공부용으로 자료 조사한 것들을 토대로 정리한 내용입니다. 틀린 내용이 있다면 댓글 부탁드립니다. 활성화 함수란, 비선형 신경망 모델을 만들기 위해 각 뉴런의 Linear Function(Weighted Sum, Affine Transformation,,,)의 결과값에 적용해 주는 함수이다. 하나를 예로 들면, 딥러닝을 위한 신경망 모델(neural networks)의 각 층(Layer)에서 각 뉴런(Neuron)에 Input Data(x)가 입력되면 Affine function(f(x) = z = wx + b), 활성화함수(g(wx + b))를 통해 Output Data가 출력값으로 나온다. g(f(x))라는 합성함수 형태가 하나의 뉴런 안에서 수행되는 연산이다. 이 출력값을 다음 레이어의 입력값으로..

* 공부용으로 자료 조사한 것들을 토대로 정리한 내용입니다. 틀린 내용이 있다면 댓글 부탁드립니다. 아래의 4가지 사이에는 밀접한 연관이 있다. 해당 개념들은 워낙 범용적으로 쓰이다보니 원래 알던 개념과 조금씩 다른 부분도 있고, 계속해서 헷갈리는 부분이 생기는 것 같아 여러 문서들을 참고하여 번역하고, 정리해보았다. pretrained model과 checkpoints의 개념, fine-tuning과 transfer learning간에 개념을 정확히 알기 위해 목적이나 방법에 대한 내용을 담았다. Pretrained model : 사전 학습된 모델 checkpoints : 모델의 체크포인트 Fine-Tuning : 파인튜닝 Transfer Learning : 전이학습 먼저 pretrained model..

08-01 순환 신경망(Recurrent Neural Network, RNN) - 딥 러닝을 이용한 자연어 처리 입문 글을 참고하여 공부한 내용을 정리하였습니다. 순서를 가지는 Sequence 데이터를 입력값과 출력값으로 가지는 경우 Sequential Model을 사용할 수 있다. 그 중 가장 처음 고안된 신경망 모델이 바로 RNN이다. 데이터 시퀀스를 처리하는 모델로 각 시간 단계를 독립적인 레이어로 처리할 수 있게 구성되어 RNN unrolling technique라는 용어가 사용된다. (참고논문) LSTM이나 GRU도 근본적으로는 RNN을 기반으로 발전된 모델들이다. 시퀀스 모델은 기계번역, 문서 요약 등의 자연어 처리 모델에서 주로 활용된다. RNN모델의 architecture 구성을 자세히 살..