AI와 데이터의 모든 것

GPT-4oGPT-4o (“o” for “omni”) Document : Hello GPT-4o | OpenAI OpenAI에서는 2024.05.13에 텍스트, 오디오, 이미지(영상)을 동시에 입력하였을 때, 출력도 텍스트, 오디오, 이미지를 생성해내는 AGI(Artificial General Intelligent)인 gpt-4o 모델을 발표했다. 모델의 성능은 GPT-4 Turbo 모델과 같은 성능에 non-english에 대한 정확도도 향상되었다. 이번 gpt-4o 모델은 특히, 이미지를 인식하는 비전영역과 음성을 인식하는 오디오영역에서 더 향상된 성능을 보인다. 그와 동시에 더 빠르고, 50% 낮아진 가격으로 API를 사용할 수 있게 되었다. 실제 ChatGPT에서 gpt-4o 모델로 프롬프트를 입..

prompt란?prompt : 컴퓨터가 사용자의 입력을 받을 준비가 되어있고, promptable : 입력을 받을 수 있는 것 또는 상태 prompt engineering이란?프롬프트 엔지니어링은 대규모 언어 모델(LLM)으로부터 원하는 답변에 대해 높은 품질의 결과를 추출하기 위해서 프롬프트의 입력 텍스트를 적절히 조합하는 것을 말합니다.  llm의 답변에 대한 지침을 부여하는 것으로 대표적인 llm을 제공하는 OpenAI의 ChatGPT의 예시를 보겠습니다. 아래와 같이 프롬프트 엔지니어링을 위한 6가지 전략을 제시하였습니다.Write clear instructions : 명확한 지시서를 작성해라. (ex. 전문가 수준의 긴 답변) Provide reference text (ex. fake infor..

1. RNN (1986) RNN은 시퀀스 데이터를 학습시키기 위해 제안된 신경망 모델로 RNN 기법이 처음으로 제안된 논문은 아래와 같다. 이 논문을 기틀로 RNN 연산을 거치는 신경망모델에 대한 수많은 연구가 수행되었다. Learning representations by back-propagationing errors (pdf 보기) 2. LSTM (1997) LSTM은 RNN의 은닉층에서 계산되는 연산을 변형시켜 장기적 기억을 더 잘하도록 고안된 신경망 모델이다. 처음으로 LSTM 매커니즘이 제안된 논문은 아래와 같다. Long Short-Term Memory 최종적으로 자리잡은 RNN과 LSTM에 대한 개념은 아래의 논문에서 확인할 수 있다. Fundamentals of Recurrent Neura..

Tensorflow는 가장 흔하게 사용되는 딥러닝 프레임워크로 그 구조를 알아보고, 어떻게 활용할 수 있는지 공식 document를 보고 내용을 정리해보았습니다. 흔히 신경망모델에서의 레이어는 수학적인 구조로 이루어진 함수입니다. 딥러닝에서는 이 레이어에서 weights, bias와 같은 가중치(trainable variables)를 가지고있고, 이들이 적합한 값으로 학습되도록 하는 과정을 거칩니다. Tensorflow에서는 이러한 레이어를 함수로 재사용하고, 가중치를 저장했다가 로드할 수 있는 기능들을 제공합니다. 이를 지원하는 Tensorflow의 클래스는 tf.Module입니다. 간단한 사용 예시를 보겠습니다. tf.Module을 상속받는 클래스는 아래의 두 함수로 정의할 수 있습니다. __init..

Transformer 모델에서 사용되는 positional encoding은 시퀀스 내 단어의 상대적인 위치 정보를 주입하는 데 사용됩니다. 이것은 모델이 단어의 순서를 이해하고 효과적으로 처리할 수 있도록 돕습니다. Transformer에서 주로 사용되는 positional encoding 방법 중 하나는 다음과 같은 싸인과 코사인 함수를 사용한 것입니다. PE는 positional encoding matrix의 요소입니다. pos는 시퀀스에서 단어의 위치를 나타냅니다. i는 encoding 차원(d_model) 내의 인덱스를 나타냅니다. d_model은 모델의 임베딩 차원입니다. positional encoding에서 사용되는 sin과 cos 함수 안에 대입되는 공식은 주기적인 패턴을 생성하기 위해 ..

Multi-granularity feature는 딥러닝에서 다양한 해상도 또는 크기의 특징을 함께 사용하여 모델의 성능을 향상시키는 기술입니다. 이는 모델이 서로 다른 *추상화 수준에서 정보를 학습할 수 있도록 도와줍니다. * 추상화 : 딥러닝 모델이 데이터로부터 패턴을 학습할 때, 다양한 추상화 수준으로 패턴을 학습하게 되는데, 추상화라는 것은 데이터의 상세한 부분부터 전반적인 개요까지의 정보를 단순화하는 과정이다. 이미지 데이터는 다양한 크기와 해상도의 특징을 가질 수 있습니다. Multi-granularity feature는 이러한 특징들을 다양한 관점으로 모델에 통합하여 학습하고, 이를 통해 더욱 풍부한 정보를 활용할 수 있습니다. 예를 들어, 모델은 낮은 해상도 이미지에 대해서 전체 이미지의 개..

해당 글을 읽기 전에 먼저 알아야할 내용 Confusion Matrix로 분류모델 성능평가 지표(precision, recall, f1-score, accuracy) 구하는 방법 먼저 Confusion Matrix(혼동행렬)란, 이진분류(Binary Classification) 나 다중분류(Multiclass Classification)에서 어떤 모델의 분류가 잘 되었는지 평가하기 위해 모델의 결과를 시각화한 표 또는 행렬이다. Binary kyull-it.tistory.com PR curve; Precision-Recall curve : 객체인식 결과에 대한 confidences에 대해 threshold를 지정하여 TP, FP를 구별해준다. 이를 통해 precision과 recall을 구해줄 수 있는데..

MAE; Mean Absolute Error; 평균 절대 오차; - 오차의 절대값. (선 단위) MAPE; Mean Absolute Percentage Error; 평균 절대 비율(백분율) 오차; - MAE지표를 백분율로 계산한 것이다. MPE; Mean Percentage Error; 평균 비율(백분율) 오차; - 절댓값을 빼고 계산하여 underperformance, overperformance인지 판단할 수 있다. MSE; Mean Squared Error; 평균 제곱 오차; - 오차의 제곱 (면적 단위). - 값이 큰 오차일수록 훨씬 더 가중되어 오차가 커지고, 1미만의 오차는 더 오차가 작아진다. RMSE; Root Mean Squared Error; 평균 제곱 오차; - 오차의 제곱의 제곱근...

1. 인과관계(기능)에 따른 변수 독립 변수 (Independent Variable) : 다른 변수에 영향을 주는 변수 원인 변수 / 요인 변수 / 실험 요인 (Factor) : 종속 변수에 원인을 야기하는 독립 변수 예측 변수 (Predictor Variable) / 설명 변수 (Explanatory Variable) / 회귀 변수 (Regressor) / 자극 변수 (Stimulus) / 외생 변수 (Exogenous Variable) / 통제 변수 (Control Variable) / 공변 변수 (Covariate) : 예측에 이용되는 변수로 변화를 예측해보려고, 변화시켜보는 변수. (독립 변수) 종속 변수 (Dependent Variable) : 다른 변수로부터 영향을 받는 변수 반응 변수 (Re..

정규화라는 단어가 가지는 의미는 정상화라는 말과 같다. [어떠한 오류나 비정상적인, 패턴이 없는] 상태에서 [정상적인 상태, 일정한 규칙을 가진]상태로 상태를 변화시키는 것이 정규화이다. 정규화가 실제로 수행되는 경우에는 굉장히 다양한 종류들이 있다. 흔하게 볼 수 있는 정규화로는 데이터베이스에서의 정규화, 통계학적 정규화, 머신러닝/딥러닝 학습에서의 정규화 3가지가 있다. 영어로 보자면 Normalization, Regularization가 될 수 있는데, 모두 한국어로하면 정규화라고 한다. 그래서 어떤 누가와서 정규화가 뭐에요?라고 묻는다면, 어떤 정규화를...말하는거지? 하고 헷갈릴 수 있다. 어느 면접에서 실제로 어떤 정규화를 말하는건지 질문자의 의도를 파악하지 못하고, 쌩뚱맞은 정규화에 대해서 ..