AI와 데이터의 모든 것

딥러닝 모델을 벤치마킹하다보면, 굉장히 대용량의 데이터셋을 다운로드할일이 많아진다. 그 중에서도 google drive에 올려져있는 경우에 (나같은 경우) chrome에서 이를 다운로드 받으면 렉이 엄청 걸리고, 시간도 정말 오래걸린다. 그래서 찾아보니 wget으로 google drive의 파일을 다운받을 수 있는 방법이 있다. 방법은 아래와 같다. ※ 주의 : 100MB이상인 파일에서 실행 wget --load-cookies /tmp/cookies.txt "https://docs.google.com/uc?export=download&confirm=$(wget --quiet --save-cookies /tmp/cookies.txt --keep-session-cookies --no-check-certifi..

1. 비주얼 스튜디오 코드와 같은 환경에서 .py 파일을 터미널에 실행시키는 방식 def print_image(image): if isinstance(image, str): image = cv2.imread(image) cv2.imshow("image", image) cv2.waitKey(0) cv2.destroyAllWindows() 2. 주피터 환경에서 (.ipynb 파일의 한 셀에서) 이미지를 보고싶은 경우 1) OpenCV : viewer (window)가 뜨는 방식 def print_image(image): if isinstance(image, str): image = cv2.imread(image) cv2.namedWindow("Sample Image", cv2.WINDOW_NORMAL) cv..

딥러닝 학습 시에 대용량 데이터셋은 필수적이다. 이 데이터셋의 모든 이미지를 물론 모두 확인할 일은 없겠지만(할 수도 없겠지만), 그래도 GUI환경에서 이미지 썸네일 리스트들을 확인하고, 몇가지 랜덤한 이미지에 대해 보고싶을 수도 있다. 하지만 일반적인 리눅스 시스템이 깔려있는 컴퓨터로 파일탐색기를 열고 이미지가 잔뜩 들어있는 폴더에 접근한다면,,,,(망한다ㅜ) 컴퓨터가 멈추고, 계속 로딩된 상태로 오래 유지되는 경우가 많을 것이다. 로딩이 된다고 해도 굉장히 느리고, 조금만 잘못하면 금방 렉이 걸려버린다. 그래서 우리는 다른 GUI 파일탐색기가 필요하다. 그는 바로 gthumb이라는 프로그램이다. 사용방법은 간단하다. 먼저 아래의 커맨드로 gthumb을 설치해준다. sudo apt install gth..

1. Windows에서 컴퓨터 관리 > 디스크 관리 - 볼륨 축소를 통해 원하는 용량만큼 할당되지 않은 빈 디스크를 만들어줍니다. 2. Ubuntu 설치 드라이브 > USB 만들기 1) Desktop Image 다운로드 2) Rufus로 image를 USB에 넣어 부팅드라이브로 만들기 3) USB꼽고, 재부팅하기 + 재부팅할 때, 바이오스(BIOS)에 접근 - 바이오스 단축키 : DEL 또는 F2 또는 F10 - settings > boot > hard disk drive bbs priorities에서 USB를 최상위 우선순위로 순서 바꾸기 - 설정 후 BIOS를 빠져나오면 USB로 재부팅 된다. - 참고 블로그 4) Ubuntu 설치하기 - GRUB 창이 뜨면, (보통) 최상단 항목에 (Try and ..

입문용 추천 동영상 : 맥북 열고 이대로만 따라하세요. 한 번 해두면 n년 편한 맥 초기 설정 35가지 (with M2 맥북 에어15) (출처 : 테크몽) https://youtu.be/w2GVdqEtb40?si=WASWrI_MI7iBieED 마그넷 : 컨트롤+옵션+여러가지 화면캡쳐 : 커맨드+쉬프트+3 스크린샷 패널 : 커맨드+쉬프트+5 Del : control+D, fn+back 잘라내기 : 컨트롤+옵션+v 강제종료 : 옵션+커맨드+esc 새로고침 : 커맨드+R 앱 종료 : 커맨드+Q 창 종료 : 커맨드+W 최소화 : 커맨드+M 탭 이동 : 커맨드+쉬프트+[ or ] 화면 잠금 : 컨트롤+커맨드+Q 한자 : 옵션+엔터 이모티콘 : fn키 Launchpad : 옵션+스페이스 Spotlight : 커맨드..

대용량 데이터들을 처리하려다 컴퓨터가 아예 멈춰버려서 재부팅을 했다. 외장하드 두개를 꼽아놓은 상태였고, 한 외장하드에서는 대용량 압축파일을 압축해제 시키는 과정과 또 다른 외장하드에서는 로컬에 있던 500MB정도 파일을 옮기는 작업 도중에 컴퓨터가... 멈춰버렸었다. 재부팅하고 다시 하려니 하나의 외장하드에서 아래같은 에러가 뜨면서 접근이 되지 않았다. "Error mounting /dev/sda1 at /media/~~~~/: Unknow error when mounting /dev/sda1" 찾아보니 아래의 커맨드로 해결할 수 있다고 해서 시도해보았다. /dev/ 다음에 나오는 건 외장하드마다 다를 수 있어 본인의 에러메시지에 맞게 수정하면 된다고 한다. sudo ntfsfix /deb/sda1 저..

서버는 대체로 리눅스기반으로 많이 구축되어있다. 터미널을 자주 사용하면서 다양한 작업들을 cli환경에서 하게되는데, 데이터셋도 command를 실행해서 로컬 또는 서버로 파일을 다운로드 받을 수 있다. AIHUB는 데이터 공개 초기에 윈도우, 우분투 18버전에서만 특정 프로그램을 설치하여, 그 프로그램을 통해 원하는 데이터를 다운로드 받을 수 있었다. 우분투 20버전을 쓰는 나로써는 굉장히 불편했었는데, 이제는 aihubshell이라는 것이 생겨서, 편하게 terminal에서 데이터를 다운로드 받을 수 있게 되어, [Linux, Ubuntu 20.04버전]을 쓰는 환경을 기준으로 어떻게 사용하는지 정리해보려한다. 1. aihubshell 다운로드curl -o "aihubshell" https://api...

Docker란? - 컨테이너 기반의 가상화 플랫폼 (오픈소스) Container(컨테이너)란? - 격리된 공간에서 프로세스가 동작하도록 하는 기술 - 리눅스기반 컨테이너를 지원한다. Image(이미지)란? - 컨테이너를 실행시키기 위한 파일들과 설정값들을 포함하고 있는 것 - layer개념을 사용하여 저장되기 때문에, 효율적으로 저장할 수 있다. 도커 설치하는 방법 - Linux : Install Docker Engine on Ubuntu - Desktop for Window, Desktop for Mac 도커 Command 컨테이너 - 설치 : docker run [OPTIONS] IMAGE[:TAG|@DIGEST] [COMMAND] [ARG...] - 목록 확인 : docker ps [OPTIONS]..

https://docs.anaconda.com/free/anaconda/ide-tutorials/pycharm/ Using PyCharm — Anaconda documentation Using PyCharm PyCharm is an IDE that integrates with IPython Notebook, has an interactive Python console, and supports Anaconda as well as multiple scientific packages. PyCharm also supports creating virtual environments for Python with conda. This topic w docs.anaconda.com 제 글을 읽지않고, 위의 공식문서를 바..

pip install --upgrade opencv-python==xx.xx.xx