[Ubuntu] AIHub CLI(aihubshell)를 이용한 다운로드 방법

-

aihubshell 이용한 데이터 다운 방법

안녕하세요, aihubshell을 이용하여 데이터를 다운받는 방법을 알아보겠습니다.

aihubshell 실행 명령어 파일 다운

aihubshell을 다운로드 합니다.
curl -o "aihubshell" https://api.aihub.or.kr/api/aihubshell.do
다운받은 파일의 실행 권한을 부여합니다.
chmod +x aihubshell
해당 파일을 어떤 경로에서든 명령어로 실행할 수 있도록 설정합니다. (정상 등록 확인은 아래 그림 명령어 참고)
sudo cp aihubshell /usr/bin

aihubshell 명령어를 이용한 데이터 다운

다운받으려는 데이터셋의 key값을 확인합니다. (여기선 163 데이터 사용)
aihubshell -mode l | grep '공사'
만약 전체 데이터셋이 아닌 일부 파일만 다운받고자 하면 해당 데이터셋의 파일 key값을 확인합니다. (여기선 559879, 559880 데이터 사용)
aihubshell -mode l -datasetkey 163
확인한 key값을 이용해 데이터를 다운받습니다.
aihubshell -mode d -datasetkey 163 -filekey 559879,559880 -aihubapikey 'your_api_key'
apikey는 여기에서 발급받을 수 있습니다.

다운받은 zip파일 압축 해제

사이트를 통해 다운받는 경우 분할된 part 파일을 하나로 병합해야하는 귀찮음이 존재합니다.
aihubshell을 이용한 경우에는 자동으로 part 파일 병합까지 진행해줍니다.
다운받은 559879와 559880 파일만 존재하는걸 확인할 수 있습니다.
이후 unzip을 통해 편하게 해당 데이터를 압축 해제할 수 있습니다.
unzip 'your_zip_file'


참고 문헌

[1]   https://aihub.or.kr/devsport/apishell/list.do?currMenu=403&topMenu=100

댓글

댓글 쓰기

이 블로그의 인기 게시물

[python] selenium close와 quit 차이점

-
이미지
close와 quit 차이점 selenium webdriver를 닫는 기능으로는 close()와 quit()이 존재합니다. close() close()는 현재 selenium webdriver가 활성화되어 있는 화면만을 종료 합니다. 2개 이상의 webdriver 탭이 열려있다면 현재 활성화되어 있는 webdriver만 종료되고 나머지 webdriver는 종료되지 않습니다. 현재 열려있는 webdriver close() -> 활성화되어 있던 naver만 종료가 되었음. close() 이후 탭 전환을하고 싶으신 분은 아래의 링크를 참고하세요. window, mac에서 새 탭 열기 및 전환 https://daewoonginfo.blogspot.com/2019/05/python-selenium.html quit() quit()는 dispose() 함수를 불러와 열려있는 모든 webdriver를 종료하고 세션을 안전하게 종료 합니다. 프로그램을 종료할 때 quit()을 사용하지 않는다면 webdriver 세션이 완벽하게 종료되지 않아 메모리 누수가 발생할 수 있습니다. 하나의 webdriver가 열려있다면 close()와 quit() 어느 것을 사용해도 동일한 작업을 수행 합니다. 하지만 2개 이상의 webdriver가 열려있다면 close()와 quit() 다르게 작동  하는것을 유의해야합니다. 참고문헌 [1] https://www.zyxware.com/articles/5552/what-is-close-and-quit-commands-in-selenium-webdriver
자세한 내용 보기

[linux] 리눅스 파일 인코딩 확인 및 변경 방법

-
이미지
파일 인코딩 확인 및 변경 방법 1. 파일 인코딩 확인 인코딩 형식 확인 명령어는 대체로 file 명령어에 -bi 옵션을 넣어 사용합니다. # file -bi 파일명 test.txt 파일은 iso-8859-1로 인코딩되어 있는걸 확인할 수 있습니다. 현재 test.txt 파일은 윈도우에서 한글을 ANSI 인코딩으로 저장하여 scp 명령어로 복사한 파일입니다. 윈도우에서는 한글을 ANSI로 인코딩하면 자동으로 CP949 형식으로 인코딩 한다는데... 왜 리눅스에서는 iso-8859-1로 인식하는지 잘 모르겠네요... (버그로 추정) 아시는 분은 댓글 부탁드립니다... ㅠ iso-8859-1은 서유럽 언어 인코딩을 지원[1]하기 때문에 한글을 표시할 때 깨지는 문제가 발생하게 됩니다. (cat 명령어로 test.txt 내용을 출력할 때 복호화 과정을 통해 한글을 복원해야 하는데, 현재 리눅스가 test.txt 파일을 iso-8859-1(서유럽 언어)로 인식하고 있어 한글을 서유럽 형식으로 복호화하여 이상한 문자가 출력) 2. 파일 인코딩 변경 파일 인코딩을 변환하기 위해서는 iconv 명령어를 사용합니다. 파일 인코딩 변환 # iconv -f 기존인코딩포맷 -t 바꿀인코딩포맷 기존파일명 > 바꿀파일명 파일 인코딩이 utf-8로 변경된 것을 확인할 수 있습니다. 인코딩을 변경한 아래의 명령어를 살펴보면 # iconv -c -f iso-8859-1 -t utf-8 test.txt > iso_test.txt iso-8859-1로 인코딩 된 test.txt 파일을 utf-8로 인코딩하여 iso_test.txt 파일에 새롭게 저장하겠다는 의미입니다. 기존인코딩포맷: iso-8859-1 바꿀인코딩포맷: utf-8 기존파일명: test.txt 바꿀파일명: iso_test.txt iso_test.txt 파일은 utf-8로 인코딩이 변경되었...
자세한 내용 보기

[opencv-python] 이미지 크기조절(resize) 하는 법

-
이미지
이미지 크기 조절(resize) 이미지 크기를 조절하는 예제를 알아보겠습니다. 이미지 불러오기 import cv2 img = cv2.imread( "image/cat.jpg" ) cv2.imshow( "img" , img) cv2.waitKey() cat.jpg 이미지를 불러와 화면에 띄웁니다. 이미지 크기 조절 img = cv2.imread( "image/cat.jpg" ) print ( "img.shape = {0}" .format(img.shape)) resize_img = cv2.resize(img , ( 300 , 300 )) print ( "resize_img.shape = {0}" .format(resize_img.shape)) cv2.imshow( "img" ,  img) cv2.imshow( "resize img" , resize_img) cv2.waitKey() # 출력 # img.shape = (360, 480, 3) # resize_img.shape = (300, 300, 3) 이미지 크기 조절 방법 1 - cv2.resize(img, dsize=(300, 300)) cv2.resize(원본 이미지, 결과 크기 이미지)로 이미지의 크기를 조절할 수 있습니다. 결과 크기 이미지는 Tuple이며 (width, height)의 형식 입니다. 이미지 크기 조절 방법 2 - cv2.resize(img, dsize=(300, 300), interpolation=cv2.INTER_AREA) cv2.resize(원본 이미지, 결과 크기 이미지, 보간법)로 이미지 크기를 조절할 수 있습니다. 보간법은 이미지의 크기를 변경하면 변경된 이미지의 픽셀 사이의 값을 결정해야 하는데, 이때 보간법을 사용합니다. ...
자세한 내용 보기