AI와 데이터의 모든 것

대용량 데이터들을 처리하려다 컴퓨터가 아예 멈춰버려서 재부팅을 했다. 외장하드 두개를 꼽아놓은 상태였고, 한 외장하드에서는 대용량 압축파일을 압축해제 시키는 과정과 또 다른 외장하드에서는 로컬에 있던 500MB정도 파일을 옮기는 작업 도중에 컴퓨터가... 멈춰버렸었다. 재부팅하고 다시 하려니 하나의 외장하드에서 아래같은 에러가 뜨면서 접근이 되지 않았다. "Error mounting /dev/sda1 at /media/~~~~/: Unknow error when mounting /dev/sda1" 찾아보니 아래의 커맨드로 해결할 수 있다고 해서 시도해보았다. /dev/ 다음에 나오는 건 외장하드마다 다를 수 있어 본인의 에러메시지에 맞게 수정하면 된다고 한다. sudo ntfsfix /deb/sda1 저..

elapsed 작업이 시작된 후 경과된 시간. (코드의 소요시간을 표현할때 자주쓰이는 단어. duration보단 고급스럽게 이 단어를 이용해보자.) * elapse 경과하다, 지나가다 On-premises vs Cloud * On-Premises 온프레미스 : IT 조직에서 서버 팜 / 클라우드 등 가상의 원격 시설을 사용하지 않고, 자체적으로 서버를 구축하여 사용하는 것 DAG(Directed Acyclic Graph) 방향성(유향) 비순환 그래프, : 방향을 가지지만 순환하지 않는 그래프. (인과성을 가진다. 방향 흐름의 끝이 있다.)

Multi-granularity feature는 딥러닝에서 다양한 해상도 또는 크기의 특징을 함께 사용하여 모델의 성능을 향상시키는 기술입니다. 이는 모델이 서로 다른 *추상화 수준에서 정보를 학습할 수 있도록 도와줍니다. * 추상화 : 딥러닝 모델이 데이터로부터 패턴을 학습할 때, 다양한 추상화 수준으로 패턴을 학습하게 되는데, 추상화라는 것은 데이터의 상세한 부분부터 전반적인 개요까지의 정보를 단순화하는 과정이다. 이미지 데이터는 다양한 크기와 해상도의 특징을 가질 수 있습니다. Multi-granularity feature는 이러한 특징들을 다양한 관점으로 모델에 통합하여 학습하고, 이를 통해 더욱 풍부한 정보를 활용할 수 있습니다. 예를 들어, 모델은 낮은 해상도 이미지에 대해서 전체 이미지의 개..

서버는 대체로 리눅스기반으로 많이 구축되어있다. 터미널을 자주 사용하면서 다양한 작업들을 cli환경에서 하게되는데, 데이터셋도 command를 실행해서 로컬 또는 서버로 파일을 다운로드 받을 수 있다. AIHUB는 데이터 공개 초기에 윈도우, 우분투 18버전에서만 특정 프로그램을 설치하여, 그 프로그램을 통해 원하는 데이터를 다운로드 받을 수 있었다. 우분투 20버전을 쓰는 나로써는 굉장히 불편했었는데, 이제는 aihubshell이라는 것이 생겨서, 편하게 terminal에서 데이터를 다운로드 받을 수 있게 되어, [Linux, Ubuntu 20.04버전]을 쓰는 환경을 기준으로 어떻게 사용하는지 정리해보려한다. 1. aihubshell 다운로드curl -o "aihubshell" https://api...

IoU = Intersection over Union - Object Detection 모델에 대한 answer(annotation) 영역과 output(prediction) 영역 사이의 겹치는 정도를 파악하여, 이를 통해 정확도를 평가하기 위해 IoU를 측정한다. annotation의 bounding box 위치와 모델이 검출한 bounding box의 위치가 동일한가? 쉽게 생각해서 겹치는 부분 / 전체 부분이다. IoU에 대한 threshold를 설정하여 50%이상이면 정답, 이하이면 오답으로 분류하여 정확도를 판단할 수 있다. 흔하게는 50%~80% 사이로 임계값을 설정한다. image_path = "img_1.jpg" gt_path = "gt_img_1.txt" pred_path = "img_1..

Docker란? - 컨테이너 기반의 가상화 플랫폼 (오픈소스) Container(컨테이너)란? - 격리된 공간에서 프로세스가 동작하도록 하는 기술 - 리눅스기반 컨테이너를 지원한다. Image(이미지)란? - 컨테이너를 실행시키기 위한 파일들과 설정값들을 포함하고 있는 것 - layer개념을 사용하여 저장되기 때문에, 효율적으로 저장할 수 있다. 도커 설치하는 방법 - Linux : Install Docker Engine on Ubuntu - Desktop for Window, Desktop for Mac 도커 Command 컨테이너 - 설치 : docker run [OPTIONS] IMAGE[:TAG|@DIGEST] [COMMAND] [ARG...] - 목록 확인 : docker ps [OPTIONS]..

최근 나의 외부활동은 그나마 작년 AI Korea 학회를 다녀온 것이다. 그 외에는 거의 어떤 활동도 전무한 상태에서 더이상 혼자 우물안의 개구리일 순 없다!!! 하고 요즘 여기저기 커뮤니티를 찾아다니다가 발견한 행사로 GDG Busan에서 주최하는 DevFest 행사를 다녀오게되었다. "2023년의 성장과 회고, 그리고 2024년의 미래" 라는 주제로 다양한 세션이 준비되어있었고, 참가비 만원이 있었지만 나는 고민도 하지않고 바로 신청했다! 신청하게 되면 행사 티켓으로 QR티켓을 받게 되는데, 실제 행사에 가서 QR을 찍고, 간단한 참가자 정보를 적은 다음, 굿즈를 받고, 행사를 마음껏 즐기면 된다. 한성민 발표자님의 첫 세션이 시작되었다. 주최의 GDG 그리고 발표자님 소개에 적힌 GDE라는 것이 뭔..

principle 원칙 principal 중요한, 주요한 (출처 : 달씨 유투브) friendzone 친구관계 talking phase 알아가고 있는 단계 situationship 썸 타는 중인 관계 relationship 사귀는 관계 hindrance 방해 incarnation 화신. - 종교 · 신화 · 전설 등에서 초월적인 존재가 인간 · 천신 등의 몸으로 탄생하거나 출현하는 것을 말한다. "화신(化身)"의 문자 그대로 "몸으로 되다, 몸으로 변하다, 몸을 가지다"이며 사전적으로는 어떤 추상적인 특질 또는 성격이 구체적인 형상을 가지게 된 것을 뜻한다. (출처 : 위키백과) purview 작동 범위, 관심 영역, 권한 또는 통제의 범위 (영역의 한계나 경계를 강조) https://redkiwiapp..

어파인 변환은 이미지/영상의 기하학적인 변환들 중에 하나이다. 밝기 조절이나 필터링과 같은 이미지의 픽셀값을 수정하는 변환과 달리 기하학적 변환은 픽셀값은 그대로 유지하되 픽셀값의 위치를 변환하는 것. 즉, 이미지 픽셀값의 배치를 변경하는 것이다. 아래는 기하학적 변환에 대한 chatGPT의 설명이다. 이미지의 기하학적 변환은 이미지의 형태를 변경하는 데 사용되는 여러 가지 기법을 포함합니다. 다양한 기하학적 변환의 종류는 다음과 같습니다: 이동(Translation): 이미지를 좌우 또는 상하로 이동시키는 변환으로, 모든 픽셀을 일정한 거리만큼 이동합니다. 회전(Rotation): 이미지를 중심을 기준으로 회전시키는 변환입니다. 주어진 각도에 따라 이미지의 회전을 수행합니다. 크기 조절(Scaling)..

https://docs.anaconda.com/free/anaconda/ide-tutorials/pycharm/ Using PyCharm — Anaconda documentation Using PyCharm PyCharm is an IDE that integrates with IPython Notebook, has an interactive Python console, and supports Anaconda as well as multiple scientific packages. PyCharm also supports creating virtual environments for Python with conda. This topic w docs.anaconda.com 제 글을 읽지않고, 위의 공식문서를 바..