[TensorRT] ERROR: 3: [executionContext.cpp::setBindingDimensions::944] Error Code 3: API Usage Error (Parameter check failed at: runtime/api/executionContext.cpp::setBindingDimensions::944, condition: profileMaxDims.d[i] >= dimensions.d[i]

-


ERROR: 3: [executionContext.cpp::setBindingDimensions::944] Error Code 3: API Usage Error (Parameter check failed at: runtime/api/executionContext.cpp::setBindingDimensions::944, condition: profileMaxDims.d[i] >= dimensions.d[i]

NVIDIA-AI-IOT 오픈소스에서 torch2trt로 변환 후, 모델 inference할 때 변환 과정에서 설정된 차원값과 input 차원 값이 맞지 않아 발생하는 에러입니다.
저 같은 경우 max dimension이 5로 설정되었는데, input demension이 6이라 에러가 발생했습니다.

차원 맞추기

torch2trt parameters를 보면 차원을 설정할 수 있는 값으로 유추되는건 min_shapes, max_shapes, opt_shapes, max_batch_size가 있습니다.

이 값들을 어떻게 사용하는지 아래 코드를 보면
  • inputs와 outputs를 Flattener value로 만든 후, 입력 값(dataset)의 min / max shape을 구합니다.
  • max_batch_size가 입력된 경우(None이 아닌 경우) min_shapes_flat과 max_shapes_flat을 각각 구하여 infer_dynamic_axes에 넣어줍니다.
  • 반대로 max_batch_size가 None인 경우에는 위에서 계산해둔(min_shapes와 max_shapes에서 구한) min_shapes_flat, max_shapes_flat를 이용합니다.
코드 구조를 보아 dynamic_axes_flat에서 입력 배치가 설정됨을 유추할 수 있습니다.
저같은 경우에는 입력 이미지 크기가 변경되는게 아닌 단순한 배치 크기의 문제이므로 배치 사이즈를 늘려서 torch2trt로 export하겠습니다.
* 입력 이미지 크기가 변경되어야하는 분들은 min_shapes와 max_shapes의 크기를 입력으로 넣어주세요.

저는 최대 8의 배치 사이즈가 필요하기 때문에 max_batch_size를 8로 설정했습니다.
model_trt = torch2trt(model, [input_tensor], fp16_mode=True, max_batch_size=8)

배치 8로 설정된 모델을 inference하면 정상 구동됨을 확인할 수 있습니다.
  • 배치 변경 전 실행화면
  • 배치 변경 후 실행화면


참고 문헌

[1]   https://zerohertz.github.io/pytorch-model-to-tensorrt/
[2]   https://github.com/NVIDIA-AI-IOT/torch2trt/blob/master/torch2trt/torch2trt.py#L518

댓글

댓글 쓰기

이 블로그의 인기 게시물

[opencv-python] 이미지 크기조절(resize) 하는 법

-
이미지
이미지 크기 조절(resize) 이미지 크기를 조절하는 예제를 알아보겠습니다. 이미지 불러오기 import cv2 img = cv2.imread( "image/cat.jpg" ) cv2.imshow( "img" , img) cv2.waitKey() cat.jpg 이미지를 불러와 화면에 띄웁니다. 이미지 크기 조절 img = cv2.imread( "image/cat.jpg" ) print ( "img.shape = {0}" .format(img.shape)) resize_img = cv2.resize(img , ( 300 , 300 )) print ( "resize_img.shape = {0}" .format(resize_img.shape)) cv2.imshow( "img" ,  img) cv2.imshow( "resize img" , resize_img) cv2.waitKey() # 출력 # img.shape = (360, 480, 3) # resize_img.shape = (300, 300, 3) 이미지 크기 조절 방법 1 - cv2.resize(img, dsize=(300, 300)) cv2.resize(원본 이미지, 결과 크기 이미지)로 이미지의 크기를 조절할 수 있습니다. 결과 크기 이미지는 Tuple이며 (width, height)의 형식 입니다. 이미지 크기 조절 방법 2 - cv2.resize(img, dsize=(300, 300), interpolation=cv2.INTER_AREA) cv2.resize(원본 이미지, 결과 크기 이미지, 보간법)로 이미지 크기를 조절할 수 있습니다. 보간법은 이미지의 크기를 변경하면 변경된 이미지의 픽셀 사이의 값을 결정해야 하는데, 이때 보간법을 사용합니다. ...
자세한 내용 보기

[python] selenium close와 quit 차이점

-
이미지
close와 quit 차이점 selenium webdriver를 닫는 기능으로는 close()와 quit()이 존재합니다. close() close()는 현재 selenium webdriver가 활성화되어 있는 화면만을 종료 합니다. 2개 이상의 webdriver 탭이 열려있다면 현재 활성화되어 있는 webdriver만 종료되고 나머지 webdriver는 종료되지 않습니다. 현재 열려있는 webdriver close() -> 활성화되어 있던 naver만 종료가 되었음. close() 이후 탭 전환을하고 싶으신 분은 아래의 링크를 참고하세요. window, mac에서 새 탭 열기 및 전환 https://daewoonginfo.blogspot.com/2019/05/python-selenium.html quit() quit()는 dispose() 함수를 불러와 열려있는 모든 webdriver를 종료하고 세션을 안전하게 종료 합니다. 프로그램을 종료할 때 quit()을 사용하지 않는다면 webdriver 세션이 완벽하게 종료되지 않아 메모리 누수가 발생할 수 있습니다. 하나의 webdriver가 열려있다면 close()와 quit() 어느 것을 사용해도 동일한 작업을 수행 합니다. 하지만 2개 이상의 webdriver가 열려있다면 close()와 quit() 다르게 작동  하는것을 유의해야합니다. 참고문헌 [1] https://www.zyxware.com/articles/5552/what-is-close-and-quit-commands-in-selenium-webdriver
자세한 내용 보기

[python]파이썬: csv reader header skip (첫번째 행 무시하기, 안읽기)

-
이미지
header를 skip하기 위해서는 next() 를 하면 됩니다. ex) 아래와 같은 데이터를 가지는 excel 파일에서 header를 skip 했을 때와 하지 않았을 때를 비교 해보겠습니다. next()를 사용하지 않았을 경우 next()를 사용했을 경우 연관문헌 pandas 특정 행에 값 넣기 https://daewoonginfo.blogspot.com/2019/04/pandas.html 참고자료 https://evanhahn.com/python-skip-header-csv-reader/
자세한 내용 보기