AI와 데이터의 모든 것

1. RNN (1986) RNN은 시퀀스 데이터를 학습시키기 위해 제안된 신경망 모델로 RNN 기법이 처음으로 제안된 논문은 아래와 같다. 이 논문을 기틀로 RNN 연산을 거치는 신경망모델에 대한 수많은 연구가 수행되었다. Learning representations by back-propagationing errors (pdf 보기) 2. LSTM (1997) LSTM은 RNN의 은닉층에서 계산되는 연산을 변형시켜 장기적 기억을 더 잘하도록 고안된 신경망 모델이다. 처음으로 LSTM 매커니즘이 제안된 논문은 아래와 같다. Long Short-Term Memory 최종적으로 자리잡은 RNN과 LSTM에 대한 개념은 아래의 논문에서 확인할 수 있다. Fundamentals of Recurrent Neura..

* 공부용으로 자료 조사한 것들을 토대로 정리한 내용입니다. 틀린 내용이 있다면 댓글 부탁드립니다. 활성화 함수란, 비선형 신경망 모델을 만들기 위해 각 뉴런의 Linear Function(Weighted Sum, Affine Transformation,,,)의 결과값에 적용해 주는 함수이다. 하나를 예로 들면, 딥러닝을 위한 신경망 모델(neural networks)의 각 층(Layer)에서 각 뉴런(Neuron)에 Input Data(x)가 입력되면 Affine function(f(x) = z = wx + b), 활성화함수(g(wx + b))를 통해 Output Data가 출력값으로 나온다. g(f(x))라는 합성함수 형태가 하나의 뉴런 안에서 수행되는 연산이다. 이 출력값을 다음 레이어의 입력값으로..

* 공부용으로 자료 조사한 것들을 토대로 정리한 내용입니다. 틀린 내용이 있다면 댓글 부탁드립니다. 아래의 4가지 사이에는 밀접한 연관이 있다. 해당 개념들은 워낙 범용적으로 쓰이다보니 원래 알던 개념과 조금씩 다른 부분도 있고, 계속해서 헷갈리는 부분이 생기는 것 같아 여러 문서들을 참고하여 번역하고, 정리해보았다. pretrained model과 checkpoints의 개념, fine-tuning과 transfer learning간에 개념을 정확히 알기 위해 목적이나 방법에 대한 내용을 담았다. Pretrained model : 사전 학습된 모델 checkpoints : 모델의 체크포인트 Fine-Tuning : 파인튜닝 Transfer Learning : 전이학습 먼저 pretrained model..

08-01 순환 신경망(Recurrent Neural Network, RNN) - 딥 러닝을 이용한 자연어 처리 입문 글을 참고하여 공부한 내용을 정리하였습니다. 순서를 가지는 Sequence 데이터를 입력값과 출력값으로 가지는 경우 Sequential Model을 사용할 수 있다. 그 중 가장 처음 고안된 신경망 모델이 바로 RNN이다. 데이터 시퀀스를 처리하는 모델로 각 시간 단계를 독립적인 레이어로 처리할 수 있게 구성되어 RNN unrolling technique라는 용어가 사용된다. (참고논문) LSTM이나 GRU도 근본적으로는 RNN을 기반으로 발전된 모델들이다. 시퀀스 모델은 기계번역, 문서 요약 등의 자연어 처리 모델에서 주로 활용된다. RNN모델의 architecture 구성을 자세히 살..