AI와 데이터의 모든 것

이미지 분할 모델은 이미지 분류(Image Classification) 모델과 달리 이미지에 대해 하나의 정답레이블을 가지는 것이 아니라 이미지의 구체적인 정보를 알고자하는 모델이다. 정확히 객체가 어떤 모양인지 또는 특정 픽셀이 어느 객체에 포함되어있는지를 알고자 하기때문에 Image Segmentation 모델의 데이터셋을 보면 이미지 픽셀마다 label이 할당된 것을 볼 수 있다.  따라서, Image Segmentation은 이미지에서 중요한 객체의 정확한 형태를 파악하고, 그 위치를 경계로 객체를 분할하기 위한 기술이다. 이미지 분할 기술은 위성영상, 자율주행을 위한 도로영상, 의학 촬영영상 등에서 많이 사용되고 있으며, 더 나아가 최근에는 탐지된 객체를 삭제하고 빈 공간을 생성형 이미지로 채우..

IoU = Intersection over Union - Object Detection 모델에 대한 answer(annotation) 영역과 output(prediction) 영역 사이의 겹치는 정도를 파악하여, 이를 통해 정확도를 평가하기 위해 IoU를 측정한다. annotation의 bounding box 위치와 모델이 검출한 bounding box의 위치가 동일한가? 쉽게 생각해서 겹치는 부분 / 전체 부분이다. IoU에 대한 threshold를 설정하여 50%이상이면 정답, 이하이면 오답으로 분류하여 정확도를 판단할 수 있다. 흔하게는 50%~80% 사이로 임계값을 설정한다. image_path = "img_1.jpg" gt_path = "gt_img_1.txt" pred_path = "img_1..

어파인 변환은 이미지/영상의 기하학적인 변환들 중에 하나이다. 밝기 조절이나 필터링과 같은 이미지의 픽셀값을 수정하는 변환과 달리 기하학적 변환은 픽셀값은 그대로 유지하되 픽셀값의 위치를 변환하는 것. 즉, 이미지 픽셀값의 배치를 변경하는 것이다. 아래는 기하학적 변환에 대한 chatGPT의 설명이다. 이미지의 기하학적 변환은 이미지의 형태를 변경하는 데 사용되는 여러 가지 기법을 포함합니다. 다양한 기하학적 변환의 종류는 다음과 같습니다: 이동(Translation): 이미지를 좌우 또는 상하로 이동시키는 변환으로, 모든 픽셀을 일정한 거리만큼 이동합니다. 회전(Rotation): 이미지를 중심을 기준으로 회전시키는 변환입니다. 주어진 각도에 따라 이미지의 회전을 수행합니다. 크기 조절(Scaling)..

Image Segmentation 기법 중에서 Spectral Clustering 이라는 알고리즘이 있다. Spectral Clustering은 기본적으로 그래프 이론을 바탕으로 Graph Partitioning Algorithm의 일종으로 사용될 수 있다. 이름을 보고 직관적으로 이해해보면, 이 알고리즘은 공간적으로 무언가를 클러스터링하겠다는 것으로 이해할 수 있다. 아래에서 더 자세히 어떤 과정으로 클러스터링을 할 수 있는것인지 간단하게 정리해보았다. 우선, 이 알고리즘은 크게 두가지 행렬을 통해 산출될 수 있다. 1. Similarity matrix(Affinity matrix) 2. Laplacian matrix 기본적으로 해당 행렬은 자료가 graph 형태로 node과 edge 정보들을 담고있다..

Digital Image는 2차원 함수 f(x,y)로 정의될 수 있다. x와 y는 공간 평면 상의 좌표이고, f의 진폭(amplitude)은 이미지의 어떤 좌표 x, y의 intensity(감도) 또는 gray-level (회색도)로 불린다. x, y, intensity values of f는 모두 유한한 수이다. (finite number, discrete quantities) Digital Image는 위치와 값을 가지는 요소들로 구성된다. 그 요소들을 picture elements,image elements, pels, pixels 라고 부른다. 이미지/영상은 기본적으로 전자기 스펙트럼 (EM Spectrum; Electro-Magnetic Spectrum)에 기반하여 영상의 픽셀값이 정해진다. I..

제일 먼저, Computer Vision 영역에서 예전부터 가장 흔히 접해왔던 생성형 AI를 활용한 사례이다. Synthetic Image (합성 이미지) 생성 1) Style Transfer : 이미지의 그림체와 같은 스타일을 입혀 새로운 이미지를 생성해내는 기술. 보통 예술가들의 색채나 그림체를 가져와서 나의 이미지에 입혀주는 등의 사례가 바로 이 기술이다. style image와 normal image의 합성이다. 2) Image Inpainting : 이미지의 일부 영역에 새로운 이미지로 값을 생성해내는 기술. 이미지 속에서 배경의 어떤 객체를 지우고, 실제로 그 객체가 없었던 것처럼 자연스러운 배경을 생성해주는 사례가 이 기술이다. (missing regions in image 참고예시 - er..

"Detection" - 어떤 객체가 있는지 없는지, 어디에 있는지 검출하는 것 - ex) 사진 속에 어떤 객체가 있다. O/X "Recognition" - 해당 객체가 어떤 객체인지 인식하는 것 - 어떤 class인지 구별해내는 것 - ex) 사진 속에 객체는 강아지이다. "Identification" - 그 객체가 어떤 특징을 가지고 있는지 이해하는 것 - ex) 사진 속에 강아지가 목줄을 매고 산책을 하고 있다.