pandas как удалить дубликаты

Удаление дубликатов это частая и важная операция для обеспечения целостности данных. В pandas для этой задачи есть втроенный метод drop_duplicates():

df = df.drop_duplicates()