[python] 파이썬: pandas 중복 값 제거

-

pandas 중복 값 제거


pandas.DataFrame.drop_duplicates


drop_duplicates는 중복된 값을 제거한 뒤 DataFrame을 반환합니다.

subset: 중복제거할 column을 결정합니다.
  • DataFrame의 column 혹은 [column, column]으로 명시하면 명시된 column을 기준으로 중복제거가 일어납니다.
  • subset을 명시하지 않으면 전체 데이터 셋을 기준으로 중복제거를 합니다.
keep: 중복된 값을 어떻게 처리할지 정합니다.
  • first: 첫 번째 중복 값을 남기고, 이외 중복 값을 모두 제거합니다.
  • last: 마지막 번째 중복 값을 남기고, 이외 중복 값을 모두 제거합니다.
  • False: 중복된 값들을 모두 제거합니다.
inplace: boolean 값으로써
  • True면 원본 DataFrame 자체에서 중복제거를 합니다. 반환 값은 None
  • False면 원본 DataFrame을 건들지 않고 중복제거한 새로운 DataFrame을 만들어 값을 반환합니다.


import pandas as pd

data = {
    "Name": ["A", "B", "C", "D", "E", "F"], 
    "Age": [25, 35, 35, 35, 15, 45], 
    "Country": ["KOR", "KOR", "KOR", "USA", "USA", "GBR"]
}
df = pd.DataFrame(data, columns=data.keys())
print(df)
# 출력 # Name Age Country # 0 A 25 KOR # 1 B 35 KOR # 2 C 35 KOR # 3 D 35 USA # 4 E 15 USA # 5 F 45 GBR

Age를 기준으로 중복 값을 제거해보겠습니다.

1. subset: Age, keep: first

Age column을 기준으로 맨 처음 중복 값을 남기고 이외 중복 값을 제거합니다.
중복되는 B, C, D 중 처음 B를 삭제하지않고 C, D 삭제.
print(df)
print(df.drop_duplicates("Age", keep="first"))
# 원본 # Name Age Country # 0 A 25 KOR # 1 B 35 KOR # 2 C 35 KOR # 3 D 35 USA # 4 E 15 USA # 5 F 45 GBR # 삭제 # Name Age Country # 0 A 25 KOR # 1 B 35 KOR # 4 E 15 USA # 5 F 45 GBR

2. subset: Age, keep: last

Age column을 기준으로 마지막 중복 값을 남기고 이외 중복 값을 제거합니다.
중복되는 B, C, D 중 마지막 D를 삭제하지않고 B, C 삭제.
print(df)
print(df.drop_duplicates("Age", keep="last"))
# 원본 # Name Age Country # 0 A 25 KOR # 1 B 35 KOR # 2 C 35 KOR # 3 D 35 USA # 4 E 15 USA # 5 F 45 GBR # 삭제 # Name Age Country # 0 A 25 KOR # 3 D 35 USA # 4 E 15 USA # 5 F 45 GBR

3. subset: Age, keep: False

Age column을 기준으로 중복되는 모든 값을 제거합니다.
중복되는 B, C, D 모두 삭제.
print(df)
print(df.drop_duplicates("Age", keep=False))
# 원본 # Name Age Country # 0 A 25 KOR # 1 B 35 KOR # 2 C 35 KOR # 3 D 35 USA # 4 E 15 USA # 5 F 45 GBR # 삭제 # Name Age Country # 0 A 25 KOR # 4 E 15 USA # 5 F 45 GBR

4. subset: Age,Country, keep: last

Age, Country column을 기준으로 마지막 중복 값을 남기고 이외 중복 값을 제거합니다.
중복되는 B, C 중 마지막 C를 삭제하지않고 B 삭제.
print(df)
print(df.drop_duplicates(["Age", "Country"], keep=False))
# 원본 # Name Age Country # 0 A 25 KOR # 1 B 35 KOR # 2 C 35 KOR # 3 D 35 USA # 4 E 15 USA # 5 F 45 GBR # 삭제 # Name Age Country # 0 A 25 KOR # 2 C 35 KOR # 3 D 35 USA # 4 E 15 USA # 5 F 45 GBR

5. subset: Age,Country, keep: False

Age, Country column을 기준으로 중복되는 모든 값을 제거합니다.
중복되는 B, C 모두 삭제.
print(df)
print(df.drop_duplicates(["Age", "Country"], keep=False))
# 원본 # Name Age Country # 0 A 25 KOR # 1 B 35 KOR # 2 C 35 KOR # 3 D 35 USA # 4 E 15 USA # 5 F 45 GBR # 삭제 # Name Age Country # 0 A 25 KOR # 3 D 35 USA # 4 E 15 USA # 5 F 45 GBR

6. subset: Age, keep: False, inplace: True or False

Age column을 기준으로 맨 처음 중복 값을 남기고 이외 중복 값을 제거합니다.
inplace가 False면 원본 df를 건들지 않고 중복제거한 새로운 DataFrame을 반환합니다.
inplace가 True면 원본 df에서 중복제거가 일어납니다. 반환 값은 None

False_df = df.drop_duplicates("Age", keep="first", inplace=False)
print("False df: ", df)
print("False inplace: ", False_df)

True_df = df.drop_duplicates("Age", keep="first", inplace=True)
print("True df: ", df)
print("True inplace: ", True_df)

# False df
# Name Age Country # 0 A 25 KOR # 1 B 35 KOR # 2 C 35 KOR # 3 D 35 USA # 4 E 15 USA # 5 F 45 GBR

 # False inplace
# Name Age Country # 0 A 25 KOR # 1 B 35 KOR # 4 E 15 USA # 5 F 45 GBR

 # True df
# Name Age Country # 0 A 25 KOR # 1 B 35 KOR # 4 E 15 USA # 5 F 45 GBR

 # True inplace
# None


참고문헌

[1] https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.drop_duplicates.html



댓글

댓글 쓰기

이 블로그의 인기 게시물

[opencv-python] 이미지 크기조절(resize) 하는 법

-
이미지
이미지 크기 조절(resize) 이미지 크기를 조절하는 예제를 알아보겠습니다. 이미지 불러오기 import cv2 img = cv2.imread( "image/cat.jpg" ) cv2.imshow( "img" , img) cv2.waitKey() cat.jpg 이미지를 불러와 화면에 띄웁니다. 이미지 크기 조절 img = cv2.imread( "image/cat.jpg" ) print ( "img.shape = {0}" .format(img.shape)) resize_img = cv2.resize(img , ( 300 , 300 )) print ( "resize_img.shape = {0}" .format(resize_img.shape)) cv2.imshow( "img" ,  img) cv2.imshow( "resize img" , resize_img) cv2.waitKey() # 출력 # img.shape = (360, 480, 3) # resize_img.shape = (300, 300, 3) 이미지 크기 조절 방법 1 - cv2.resize(img, dsize=(300, 300)) cv2.resize(원본 이미지, 결과 크기 이미지)로 이미지의 크기를 조절할 수 있습니다. 결과 크기 이미지는 Tuple이며 (width, height)의 형식 입니다. 이미지 크기 조절 방법 2 - cv2.resize(img, dsize=(300, 300), interpolation=cv2.INTER_AREA) cv2.resize(원본 이미지, 결과 크기 이미지, 보간법)로 이미지 크기를 조절할 수 있습니다. 보간법은 이미지의 크기를 변경하면 변경된 이미지의 픽셀 사이의 값을 결정해야 하는데, 이때 보간법을 사용합니다.
자세한 내용 보기

[python]파이썬: csv reader header skip (첫번째 행 무시하기, 안읽기)

-
이미지
header를 skip하기 위해서는 next() 를 하면 됩니다. ex) 아래와 같은 데이터를 가지는 excel 파일에서 header를 skip 했을 때와 하지 않았을 때를 비교 해보겠습니다. next()를 사용하지 않았을 경우 next()를 사용했을 경우 연관문헌 pandas 특정 행에 값 넣기 https://daewoonginfo.blogspot.com/2019/04/pandas.html 참고자료 https://evanhahn.com/python-skip-header-csv-reader/
자세한 내용 보기

[python] selenium close와 quit 차이점

-
이미지
close와 quit 차이점 selenium webdriver를 닫는 기능으로는 close()와 quit()이 존재합니다. close() close()는 현재 selenium webdriver가 활성화되어 있는 화면만을 종료 합니다. 2개 이상의 webdriver 탭이 열려있다면 현재 활성화되어 있는 webdriver만 종료되고 나머지 webdriver는 종료되지 않습니다. 현재 열려있는 webdriver close() -> 활성화되어 있던 naver만 종료가 되었음. close() 이후 탭 전환을하고 싶으신 분은 아래의 링크를 참고하세요. window, mac에서 새 탭 열기 및 전환 https://daewoonginfo.blogspot.com/2019/05/python-selenium.html quit() quit()는 dispose() 함수를 불러와 열려있는 모든 webdriver를 종료하고 세션을 안전하게 종료 합니다. 프로그램을 종료할 때 quit()을 사용하지 않는다면 webdriver 세션이 완벽하게 종료되지 않아 메모리 누수가 발생할 수 있습니다. 하나의 webdriver가 열려있다면 close()와 quit() 어느 것을 사용해도 동일한 작업을 수행 합니다. 하지만 2개 이상의 webdriver가 열려있다면 close()와 quit() 다르게 작동  하는것을 유의해야합니다. 참고문헌 [1] https://www.zyxware.com/articles/5552/what-is-close-and-quit-commands-in-selenium-webdriver
자세한 내용 보기