AI와 데이터의 모든 것

코드의 결과를 print() 함수로 출력해주다보면 뭔가 밋밋하고, 꾸며주고싶은 욕구가 샘솟는다. 그럴 때 딱 필요한 라이브러리 "colorama"를 소개해보겠다. https://pypi.org/project/colorama/ colorama Cross-platform colored terminal text. pypi.org 우선, 아래의 커맨드로 colorama 라이브러리를 설치해준다. pip install colorama # or conda install -c anaconda colorama 본격적인 예시이다. Fore.COLOR : 글자색 변경 함수 Back.COLOR : 글자 배경색 변경 함수 Style.FEATURE : 글자 스타일 변경 함수 Style.RESET_ALL : 초기화 from col..

python2버전에서 3버전으로 업데이트되면서 몇몇의 문법이나 기능이 달라졌다. 구버전 Python2에서도 상위버전 Python3의 기능을 사용할 수 있게 해주는 모듈 https://docs.python.org/3/library/__future__.html __future__ — Future statement definitions — Python 3.11.0 documentation __future__ — Future statement definitions Source code: Lib/__future__.py __future__ is a real module, and serves three purposes: To avoid confusing existing tools that analyze import..

재부팅으로 해결 https://stackoverflow.com/questions/66371130/cuda-initialization-unexpected-error-from-cudagetdevicecount

https://discuss.pytorch.kr/t/cuda-out-of-memory/55/3 cuda out of memory 오류 해결 원본이라고 생각되는 GitHub - hanyoseob/youtube-cnn-002-pytorch-unet: [CNN PROGRAMMING] 002 - UNET 를 돌려보니 제 머신에서 batch 4에서 약 6G, batch 1에서 4.3G 정도 사용되네요. 올려주신 코드도 4.3G 정도네요. CUDA 버 discuss.pytorch.kr 1. 발생 문제 - CUDA out of memory 에러메시지 출력 2. 상황 - train model이 한번 잘 돌아가고 같은 runtime에 한번 더 train을 돌리면 에러가 발생하면서 GPU에 추가 process가 생기는 것..

CUDA error: CUBLAS_STATUS_ALLOC_FAILED when calling `cublasCreate(handle)` (jupyter lab 환경에서 작업) 구글링을 통해 얻은 해결방법 1) 배치사이즈를 줄이고, 코드를 다시 restart시키면 작동하는 것을 확인했다. - 하지만 기존에 잘 돌아가던 코드에서 갑자기 저런 에러가 발생하여 당황스럽다... 2) 배치사이즈를 줄여도 해결되지 않는 경우도 있다. (사실 저 에러는 배치사이즈와 관련이 없다는 사실) https://stackoverflow.com/questions/61473330/cuda-error-cublas-status-alloc-failed-when-calling-cublascreatehandle

1. Applications > Search > Disks 실행 2. 이름 변경을 원하는 디스크, 해당하는 파티션 선택 후, Unmount 버튼 클릭 3. 설정아이콘 선택 > Edit Filesystem 클릭 후, 원하는 이름으로 변경 4. Mounting 버튼으로 USB 재연결

def train(model, num_epochs): # Define your execution device device = torch.device("cuda" if torch.cuda.is_available() else "cpu") print("The model will be running on", device, "device") # Convert model parameters and buffers to CPU or Cuda model = model.to(device) loss_fn = nn.CrossEntropyLoss() from torch.optim import Adam optimizer = Adam(model.parameters(), lr=0.0001, weight_decay=0.0001) # ..

SSH : window shell에서 리눅스 서버 내의 파일/디렉토리 탐색을 지원하는 프로토콜 1. ssh 리눅스 터미널 접속 커맨드를 윈도우 powershell에서 실행 (ssh 리눅스사용자이름@리눅스서버IP) ssh linux@xx.xxx.xxx.xxx 2. 접속 후, 디렉토리 탐색 커맨드 (1) 디스크 용량 확인 df : (disk free) 디스크의 용량 확인 df -h : 디스크 용량을 깔끔한 형식으로 확인 df . : 현재 폴더에 대한 디스크 용량을 확인 df -m / df -k : megabyte, kilobyte단위로 확인 (2) 폴더 내의 디스크 용량 확인 du : 현재 폴더의 전체 디스크의 용량 확인 du -(s)h : 디스크 용량을 깔끔한 형식으로 확인 du -(s)h ./* : 현재..

SFTP : window shell에서 linux kernel로 진입하여 리눅스 서버에 파일을 넣고 뺄 수 있도록 해주는 i/o 프로토콜 1. 접속 방법 윈도우(Window)에서 cmd 열기 > powershell 실행 또는 powershell 바로 실행 리눅스 터미널 접속 아이디 입력 (ex. sftp id@xx.xxx.xxx.xxx) 접속 비밀번호 입력 - 비밀번호 입력 시, 텍스트가 안보일 수 있지만 실제론 입력되고 있는 것이므로 주의 2. 기본 SFTP 명령어 윈도우에서 리눅스 서버(home)로 파일 저장 put window_path/filename 2. 윈도우에서 리눅스 서버(home)로 폴더 저장 sftp put -r window_path/ linux_path/ 3. 리눅스 서버에서 윈도우로 ..

1. 리눅스 터미널 실행 2. 아래의 커맨드 실행 tar -zcvf file_folder.tar folder/path/ 1) tar -zcvf : tar 압축을 실행시켜주는 명령어 2) 압축 파일 이름 설정 - file_folder.tar 자리에 원하는 이름으로 압축될 파일 이름을 설정 - file_folder.tar.gz도 가능 3) 압축할 파일 경로 입력 - folder/path/ 자리에 원하는 경로 텍스트를 입력 - 만약 하나의 파일을 압축하기 위해서는 /folder/path/file.jpg 이런식으로 입력 4) 여러 폴더를 한 파일로 압축하고 싶을 경우, 경로를 여러개 입력 tar -zcvf file_folder.tar folder/path1/ folder/path2/ folder/path3/