AI와 데이터의 모든 것

** 다양한 파일명을 변경하는 경우들이 있겠지만 이번 글에서는 특정 단어를 추가하거나 특정 단어를 다른 단어로 변경하는 일괄 처리에 대해서 다루어보았습니다. 일반적으로 디렉토리에 있는 모든 파일을 다른 폴더로 옮기려고 할 때 mv 라는 명령어를 사용합니다. 파일을 옮길 때 mv 명령어를 이용하면 이동과 동시에 파일명도 변경해줄 수 있습니다. 일반적으로 아래와 같은 명령어로 수행할 수 있습니다. mv 만약 여러개의 파일을 mv해주고, 파일명을 변경해주고 싶다면 for 구문을 사용해주면 됩니다. 아래의 예시로 어떻게 하는지 알아보겠습니다. 모든 파일에 path는 옮기지 않고, 파일명 변경만 해준 경우입니다. 모든 파일에 new_를 붙여서 옮기는 명령어 입니다. for file in * do mv "$file..

Ubuntu 20.04 에서 terminal을 작업할 때는 텍스트에 색상이 부여되어있어 가독성이 높습니다. 하지만 터미널에서 ssh로 서버에 원격접속하였을 때, 무색의 스타일로 접속되어 가독성이 매우 떨어집니다. 이 무색무취의 터미널의 스타일 변경을 시도해보았습니다. 먼저, ssh 원격 접속된 터미널 내에서 보편적으로 /home/username/ 디렉토리에 .bashrc라는 파일이 있습니다. ( ls로는 .file은 보이지 않기 때문에 ls -a 라는 명령어를 통해서 확인할 수 있습니다. ) 우선 사진의 초록색, 파란색 부분의 프롬프트인 username@hostname : ~working_directory $ 부분을 색상 변경 해보겠습니다. vi .bashrc i PS1='\[\033[0;32m\]\u@..

딥러닝 학습 시에 대용량 데이터셋은 필수적이다. 이 데이터셋의 모든 이미지를 물론 모두 확인할 일은 없겠지만(할 수도 없겠지만), 그래도 GUI환경에서 이미지 썸네일 리스트들을 확인하고, 몇가지 랜덤한 이미지에 대해 보고싶을 수도 있다. 하지만 일반적인 리눅스 시스템이 깔려있는 컴퓨터로 파일탐색기를 열고 이미지가 잔뜩 들어있는 폴더에 접근한다면,,,,(망한다ㅜ) 컴퓨터가 멈추고, 계속 로딩된 상태로 오래 유지되는 경우가 많을 것이다. 로딩이 된다고 해도 굉장히 느리고, 조금만 잘못하면 금방 렉이 걸려버린다. 그래서 우리는 다른 GUI 파일탐색기가 필요하다. 그는 바로 gthumb이라는 프로그램이다. 사용방법은 간단하다. 먼저 아래의 커맨드로 gthumb을 설치해준다. sudo apt install gth..

1. Windows에서 컴퓨터 관리 > 디스크 관리 - 볼륨 축소를 통해 원하는 용량만큼 할당되지 않은 빈 디스크를 만들어줍니다. 2. Ubuntu 설치 드라이브 > USB 만들기 1) Desktop Image 다운로드 2) Rufus로 image를 USB에 넣어 부팅드라이브로 만들기 3) USB꼽고, 재부팅하기 + 재부팅할 때, 바이오스(BIOS)에 접근 - 바이오스 단축키 : DEL 또는 F2 또는 F10 - settings > boot > hard disk drive bbs priorities에서 USB를 최상위 우선순위로 순서 바꾸기 - 설정 후 BIOS를 빠져나오면 USB로 재부팅 된다. - 참고 블로그 4) Ubuntu 설치하기 - GRUB 창이 뜨면, (보통) 최상단 항목에 (Try and ..

대용량 데이터들을 처리하려다 컴퓨터가 아예 멈춰버려서 재부팅을 했다. 외장하드 두개를 꼽아놓은 상태였고, 한 외장하드에서는 대용량 압축파일을 압축해제 시키는 과정과 또 다른 외장하드에서는 로컬에 있던 500MB정도 파일을 옮기는 작업 도중에 컴퓨터가... 멈춰버렸었다. 재부팅하고 다시 하려니 하나의 외장하드에서 아래같은 에러가 뜨면서 접근이 되지 않았다. "Error mounting /dev/sda1 at /media/~~~~/: Unknow error when mounting /dev/sda1" 찾아보니 아래의 커맨드로 해결할 수 있다고 해서 시도해보았다. /dev/ 다음에 나오는 건 외장하드마다 다를 수 있어 본인의 에러메시지에 맞게 수정하면 된다고 한다. sudo ntfsfix /deb/sda1 저..

서버는 대체로 리눅스기반으로 많이 구축되어있다. 터미널을 자주 사용하면서 다양한 작업들을 cli환경에서 하게되는데, 데이터셋도 command를 실행해서 로컬 또는 서버로 파일을 다운로드 받을 수 있다. AIHUB는 데이터 공개 초기에 윈도우, 우분투 18버전에서만 특정 프로그램을 설치하여, 그 프로그램을 통해 원하는 데이터를 다운로드 받을 수 있었다. 우분투 20버전을 쓰는 나로써는 굉장히 불편했었는데, 이제는 aihubshell이라는 것이 생겨서, 편하게 terminal에서 데이터를 다운로드 받을 수 있게 되어, [Linux, Ubuntu 20.04버전]을 쓰는 환경을 기준으로 어떻게 사용하는지 정리해보려한다. 1. aihubshell 다운로드curl -o "aihubshell" https://api...

PyCharm 다운로드 사이트 > 다운로드 후, 아래 과정 진행 snap find pycharm sudo snap install pycharm-community --classic - 설치된거 확인 실행 후, 프로젝트 생성하기 - 원하는 코드 저장위치, 환경위치, 파이썬 버전을 선택해주고, Create 클릭 끗

tar 커맨드에 뒤에 옵션을 붙여서 명령어를 입력하면 된다. 옵션 설명 -c 파일을 tar형태로 압축 -v 압축 또는 압축해제할 때의 과정을 화면에 출력 -f 압축할 파일 이름을 지정 -C 압축파일을 저장할 경로를 지정 -x tar 파일을 압축해제 -z gzip 형태로 압축하거나 해제함 * 예시 폴더를 tar로 압축하기 tar -cvf 파일명.tar 폴더명 tar 압축 풀기 tar -xvf 파일명.tar tar.gz 압축 풀기 tar -zxvf 파일명.tar.gz

1. Applications > Search > Disks 실행 2. 이름 변경을 원하는 디스크, 해당하는 파티션 선택 후, Unmount 버튼 클릭 3. 설정아이콘 선택 > Edit Filesystem 클릭 후, 원하는 이름으로 변경 4. Mounting 버튼으로 USB 재연결

SSH : window shell에서 리눅스 서버 내의 파일/디렉토리 탐색을 지원하는 프로토콜 1. ssh 리눅스 터미널 접속 커맨드를 윈도우 powershell에서 실행 (ssh 리눅스사용자이름@리눅스서버IP) ssh linux@xx.xxx.xxx.xxx 2. 접속 후, 디렉토리 탐색 커맨드 (1) 디스크 용량 확인 df : (disk free) 디스크의 용량 확인 df -h : 디스크 용량을 깔끔한 형식으로 확인 df . : 현재 폴더에 대한 디스크 용량을 확인 df -m / df -k : megabyte, kilobyte단위로 확인 (2) 폴더 내의 디스크 용량 확인 du : 현재 폴더의 전체 디스크의 용량 확인 du -(s)h : 디스크 용량을 깔끔한 형식으로 확인 du -(s)h ./* : 현재..