Programming/errors

Jupyter lab 실행 시, 에러(Error) 설명 - NumExpr detected 12 cores but "NUMEXPR_MAX_THREADS" not set, so enforcing safe limit of 8.

방황하는 데이터불도저 2022. 9. 7. 19:28

# NumExpr User Guide - Threadpool Configuration

https://numexpr.readthedocs.io/projects/NumExpr3/en/latest/user_guide.html#threadpool-configuration

 

NumExpr 2.0 User Guide — numexpr 2.6.3.dev0 documentation

The numexpr package supplies routines for the fast evaluation of array expressions elementwise by using a vector-based virtual machine. Enabling Intel VML support Starting from release 1.2 on, numexpr includes support for Intel’s VML library. This allows

numexpr.readthedocs.io

  • 쓰레드(thread)는 임포팅될때 뿌려지는데, [NUMEXPR_MAX_THREADS] 환경변수에 따라서 그 수가 설정된다.
  • 기본 최대설정으로는 64개로 되어있다.
  • 실제 계산 가능한 가상코어의 개수보다 더 많은 쓰레드를 뿌려줄 필요가 없기때문에 (> 2**22)의 큰 매트릭스일 경우에만 (> 8)의 쓰레드로 변경한다.
  • NumExpr를 임포트하기 전에 환경을 확인하지 않았다면, info log가 찍힐 것이고, 시스템 코어수 또는 8 중에서 더 낮은 수로 쓰레드가 자동 설정된다.
  • 아래의 코드처럼 직접 설정하는 방법도 있다.
import os
os.environ['NUMEXPR_MAX_THREADS'] = '16'
os.environ['NUMEXPR_NUM_THREADS'] = '8'
import numexpr as ne

 

 

** Jupyter Lab 실행뿐만 아니라 다른 때에도 발생할 수 있음.

 

https://github.com/koszullab/hicstuff/issues/48

 

NumExpr detected 40 cores but "NUMEXPR_MAX_THREADS" not set, so enforcing safe limit of 8. · Issue #48 · koszullab/hicstuff

Hi there, I am trying to visualize a Hi-C contact map from Instagraal. The size of genome is large (~2.6Gb) and the analysis takes a long time. Although I defined -t 40 in the job script, program j...

github.com

 

https://forums.developer.nvidia.com/t/rtx-3060-can-support-cuda-with-pytorch/178078/2

 

Rtx 3060 can support cuda with pytorch

This is a relevant question that I didn’t think I needed to check before buying GeForce RTX 3060 :’). I researched a lot (after having the new machine, of course) on how to use PyTorch with a RTX 3060 card, specially with older versions or torch (0.4.0

forums.developer.nvidia.com