AI와 데이터의 모든 것

  • 홈
  • 태그
  • 방명록

Transformer 1

[NLP] 자연어처리 딥러닝 모델 변천과정 (RNN, LSTM, Seq2Seq, Attention, Transformer)

1. RNN (1986) RNN은 시퀀스 데이터를 학습시키기 위해 제안된 신경망 모델로 RNN 기법이 처음으로 제안된 논문은 아래와 같다. 이 논문을 기틀로 RNN 연산을 거치는 신경망모델에 대한 수많은 연구가 수행되었다. Learning representations by back-propagationing errors (pdf 보기) 2. LSTM (1997) LSTM은 RNN의 은닉층에서 계산되는 연산을 변형시켜 장기적 기억을 더 잘하도록 고안된 신경망 모델이다. 처음으로 LSTM 매커니즘이 제안된 논문은 아래와 같다. Long Short-Term Memory 최종적으로 자리잡은 RNN과 LSTM에 대한 개념은 아래의 논문에서 확인할 수 있다. Fundamentals of Recurrent Neura..

AI/Fundamental 2024.04.16
이전
1
다음
더보기
프로필사진

주니어입니다. 겸손하게 불도저처럼 나아가겠습니다☄️

  • 분류 전체보기 (189)
    • AI (0)
      • Fundamental (15)
      • Computer Vision (7)
      • Time Series (4)
      • Paper Review (1)
      • lectures (5)
    • Mathematics (33)
      • Linear Algebra (31)
      • Calculus (1)
    • Programming (95)
      • basic (2)
      • python (38)
      • python-numpy (2)
      • python-visualization (2)
      • python-deep learning (9)
      • python-computer vision (8)
      • python-nlp (3)
      • anaconda (5)
      • docker (1)
      • linux (13)
      • swift | mac (3)
      • matlab (1)
      • errors (8)
    • English (23)
      • monthly (15)
      • expressions (8)
    • Thought (5)
    • Holiday (1)

Tag

TensorFlow, 데이터, Linux, 딥러닝, 부스트코스, 파이썬, 선형대수학, 선형대수, 텐서플로우, tensor, 모두를위한선형대수학, 머신러닝, 리눅스, linearalgebra, Python, 신경망모델, 칸아카데미, ML, 인공지능, 벡터,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2026/02   »
일 월 화 수 목 금 토
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바