AI와 데이터의 모든 것

** 다양한 파일명을 변경하는 경우들이 있겠지만 이번 글에서는 특정 단어를 추가하거나 특정 단어를 다른 단어로 변경하는 일괄 처리에 대해서 다루어보았습니다. 일반적으로 디렉토리에 있는 모든 파일을 다른 폴더로 옮기려고 할 때 mv 라는 명령어를 사용합니다. 파일을 옮길 때 mv 명령어를 이용하면 이동과 동시에 파일명도 변경해줄 수 있습니다. 일반적으로 아래와 같은 명령어로 수행할 수 있습니다. mv 만약 여러개의 파일을 mv해주고, 파일명을 변경해주고 싶다면 for 구문을 사용해주면 됩니다. 아래의 예시로 어떻게 하는지 알아보겠습니다. 모든 파일에 path는 옮기지 않고, 파일명 변경만 해준 경우입니다. 모든 파일에 new_를 붙여서 옮기는 명령어 입니다. for file in * do mv "$file..

Ubuntu 20.04 에서 terminal을 작업할 때는 텍스트에 색상이 부여되어있어 가독성이 높습니다. 하지만 터미널에서 ssh로 서버에 원격접속하였을 때, 무색의 스타일로 접속되어 가독성이 매우 떨어집니다. 이 무색무취의 터미널의 스타일 변경을 시도해보았습니다. 먼저, ssh 원격 접속된 터미널 내에서 보편적으로 /home/username/ 디렉토리에 .bashrc라는 파일이 있습니다. ( ls로는 .file은 보이지 않기 때문에 ls -a 라는 명령어를 통해서 확인할 수 있습니다. ) 우선 사진의 초록색, 파란색 부분의 프롬프트인 username@hostname : ~working_directory $ 부분을 색상 변경 해보겠습니다. vi .bashrc i PS1='\[\033[0;32m\]\u@..

딥러닝 학습 시에 대용량 데이터셋은 필수적이다. 이 데이터셋의 모든 이미지를 물론 모두 확인할 일은 없겠지만(할 수도 없겠지만), 그래도 GUI환경에서 이미지 썸네일 리스트들을 확인하고, 몇가지 랜덤한 이미지에 대해 보고싶을 수도 있다. 하지만 일반적인 리눅스 시스템이 깔려있는 컴퓨터로 파일탐색기를 열고 이미지가 잔뜩 들어있는 폴더에 접근한다면,,,,(망한다ㅜ) 컴퓨터가 멈추고, 계속 로딩된 상태로 오래 유지되는 경우가 많을 것이다. 로딩이 된다고 해도 굉장히 느리고, 조금만 잘못하면 금방 렉이 걸려버린다. 그래서 우리는 다른 GUI 파일탐색기가 필요하다. 그는 바로 gthumb이라는 프로그램이다. 사용방법은 간단하다. 먼저 아래의 커맨드로 gthumb을 설치해준다. sudo apt install gth..

1. Windows에서 컴퓨터 관리 > 디스크 관리 - 볼륨 축소를 통해 원하는 용량만큼 할당되지 않은 빈 디스크를 만들어줍니다. 2. Ubuntu 설치 드라이브 > USB 만들기 1) Desktop Image 다운로드 2) Rufus로 image를 USB에 넣어 부팅드라이브로 만들기 3) USB꼽고, 재부팅하기 + 재부팅할 때, 바이오스(BIOS)에 접근 - 바이오스 단축키 : DEL 또는 F2 또는 F10 - settings > boot > hard disk drive bbs priorities에서 USB를 최상위 우선순위로 순서 바꾸기 - 설정 후 BIOS를 빠져나오면 USB로 재부팅 된다. - 참고 블로그 4) Ubuntu 설치하기 - GRUB 창이 뜨면, (보통) 최상단 항목에 (Try and ..

대용량 데이터들을 처리하려다 컴퓨터가 아예 멈춰버려서 재부팅을 했다. 외장하드 두개를 꼽아놓은 상태였고, 한 외장하드에서는 대용량 압축파일을 압축해제 시키는 과정과 또 다른 외장하드에서는 로컬에 있던 500MB정도 파일을 옮기는 작업 도중에 컴퓨터가... 멈춰버렸었다. 재부팅하고 다시 하려니 하나의 외장하드에서 아래같은 에러가 뜨면서 접근이 되지 않았다. "Error mounting /dev/sda1 at /media/~~~~/: Unknow error when mounting /dev/sda1" 찾아보니 아래의 커맨드로 해결할 수 있다고 해서 시도해보았다. /dev/ 다음에 나오는 건 외장하드마다 다를 수 있어 본인의 에러메시지에 맞게 수정하면 된다고 한다. sudo ntfsfix /deb/sda1 저..

1. Applications > Search > Disks 실행 2. 이름 변경을 원하는 디스크, 해당하는 파티션 선택 후, Unmount 버튼 클릭 3. 설정아이콘 선택 > Edit Filesystem 클릭 후, 원하는 이름으로 변경 4. Mounting 버튼으로 USB 재연결

SSH : window shell에서 리눅스 서버 내의 파일/디렉토리 탐색을 지원하는 프로토콜 1. ssh 리눅스 터미널 접속 커맨드를 윈도우 powershell에서 실행 (ssh 리눅스사용자이름@리눅스서버IP) ssh linux@xx.xxx.xxx.xxx 2. 접속 후, 디렉토리 탐색 커맨드 (1) 디스크 용량 확인 df : (disk free) 디스크의 용량 확인 df -h : 디스크 용량을 깔끔한 형식으로 확인 df . : 현재 폴더에 대한 디스크 용량을 확인 df -m / df -k : megabyte, kilobyte단위로 확인 (2) 폴더 내의 디스크 용량 확인 du : 현재 폴더의 전체 디스크의 용량 확인 du -(s)h : 디스크 용량을 깔끔한 형식으로 확인 du -(s)h ./* : 현재..

SFTP : window shell에서 linux kernel로 진입하여 리눅스 서버에 파일을 넣고 뺄 수 있도록 해주는 i/o 프로토콜 1. 접속 방법 윈도우(Window)에서 cmd 열기 > powershell 실행 또는 powershell 바로 실행 리눅스 터미널 접속 아이디 입력 (ex. sftp id@xx.xxx.xxx.xxx) 접속 비밀번호 입력 - 비밀번호 입력 시, 텍스트가 안보일 수 있지만 실제론 입력되고 있는 것이므로 주의 2. 기본 SFTP 명령어 윈도우에서 리눅스 서버(home)로 파일 저장 put window_path/filename 2. 윈도우에서 리눅스 서버(home)로 폴더 저장 sftp put -r window_path/ linux_path/ 3. 리눅스 서버에서 윈도우로 ..

1. 리눅스 터미널 실행 2. 아래의 커맨드 실행 tar -zcvf file_folder.tar folder/path/ 1) tar -zcvf : tar 압축을 실행시켜주는 명령어 2) 압축 파일 이름 설정 - file_folder.tar 자리에 원하는 이름으로 압축될 파일 이름을 설정 - file_folder.tar.gz도 가능 3) 압축할 파일 경로 입력 - folder/path/ 자리에 원하는 경로 텍스트를 입력 - 만약 하나의 파일을 압축하기 위해서는 /folder/path/file.jpg 이런식으로 입력 4) 여러 폴더를 한 파일로 압축하고 싶을 경우, 경로를 여러개 입력 tar -zcvf file_folder.tar folder/path1/ folder/path2/ folder/path3/

https://kyull-it.tistory.com/19 Linux에 ML환경 구축하기 (1) - CUDA, cuDNN 여러 버전 한 컴퓨터에 설치하기 + 드라이브 설정 ※ Ubuntu LTS 20.04 버전 설치 필수 (22.04버전에서는 Pytorch, Tensorflow지원 CUDA 호환X) - 2022.08.16 기준 1. GPU 스펙 확인 - CUDA설치가 가능한 시스템을 갖추고있는지 확인하는 과정 - 필자는 컴퓨터 전체 스 kyull-it.tistory.com # 1 : Anaconda 설치방법 - Linux anaconda installation Manual https://docs.anaconda.com/anaconda/install/linux/#installation Installing o..