pandas

Cómo soltar filas duplicadas en Pandas Python

Cómo soltar filas duplicadas en Pandas Python
Python es uno de los lenguajes de programación más populares para el análisis de datos y también es compatible con varios paquetes de Python centrados en datos. Los paquetes de Pandas son algunos de los paquetes de Python más populares y se pueden importar para el análisis de datos. En casi todos los conjuntos de datos, a menudo existen filas duplicadas, lo que puede causar problemas durante el análisis de datos o la operación aritmética. El mejor enfoque para el análisis de datos es identificar las filas duplicadas y eliminarlas de su conjunto de datos. Con la función drop_duplicates () de Pandas, puede eliminar o eliminar fácilmente registros duplicados de un marco de datos.
Este artículo le muestra cómo encontrar duplicados en los datos y eliminar los duplicados usando las funciones de Pandas Python.

En este artículo, hemos tomado un conjunto de datos de la población de diferentes estados de los Estados Unidos, que está disponible en una .formato de archivo csv. Leeremos el .csv para mostrar el contenido original de este archivo, de la siguiente manera:

importar pandas como pd
estado_df = pd.read_csv ("C: / Users / DELL / Desktop / Population_ds.csv ")
imprimir (df_state)

En la siguiente captura de pantalla, puede ver el contenido duplicado de este archivo:

Identificación de duplicados en Pandas Python

Es necesario determinar si los datos que está utilizando tienen filas duplicadas. Para verificar la duplicación de datos, puede usar cualquiera de los métodos cubiertos en las siguientes secciones.

Método 1:

Lea el archivo csv y páselo al marco de datos. Luego, identifique las filas duplicadas usando el duplicado () función. Finalmente, use la declaración de impresión para mostrar las filas duplicadas.

importar pandas como pd
estado_df = pd.read_csv ("C: / Users / DELL / Desktop / Population_ds.csv ")
Dup_Rows = df_state [df_state.duplicado ()]
print ("\ n \ nDuplicar filas: \ n ".formato (Dup_Rows))

Método 2:

Usando este método, el is_duplicated La columna se agregará al final de la tabla y se marcará como 'Verdadero' en el caso de filas duplicadas.

importar pandas como pd
estado_df = pd.read_csv ("C: / Users / DELL / Desktop / Population_ds.csv ")
df_state ["is_duplicate"] = df_state.duplicado ()
imprimir ("\ n ".formato (df_state))

Soltar duplicados en Pandas Python

Las filas duplicadas se pueden eliminar de su marco de datos utilizando la siguiente sintaxis:
drop_duplicates (subset = ", keep =", inplace = False)
Los tres parámetros anteriores son opcionales y se explican con mayor detalle a continuación:
mantenerse: este parámetro tiene tres valores diferentes: Primero, Último y Falso. El primer valor mantiene la primera aparición y elimina los duplicados posteriores, el último valor conserva solo la última aparición y elimina todos los duplicados anteriores, y el valor Falso elimina todas las filas duplicadas.
subconjunto: etiqueta utilizada para identificar las filas duplicadas
en su lugar: contiene dos condiciones: Verdadero y Falso. Este parámetro eliminará las filas duplicadas si se establece en True.

Eliminar duplicados manteniendo solo la primera aparición

Cuando usa "keep = first", solo se mantendrá la ocurrencia de la primera fila y se eliminarán todos los demás duplicados.

Ejemplo

En este ejemplo, solo se conservará la primera fila y se eliminarán los duplicados restantes:

importar pandas como pd
estado_df = pd.read_csv ("C: / Users / DELL / Desktop / Population_ds.csv ")
Dup_Rows = df_state [df_state.duplicado ()]
print ("\ n \ nDuplicar filas: \ n ".formato (Dup_Rows))
DF_RM_DUP = df_state.drop_duplicates (mantener = 'primero')
print ('\ n \ nResultado DataFrame después de la eliminación de duplicados: \ n', DF_RM_DUP.cabeza (n = 5))

En la siguiente captura de pantalla, la ocurrencia de la primera fila retenida se resalta en rojo y se eliminan las duplicaciones restantes:

Eliminar duplicados manteniendo solo la última aparición

Cuando usa "keep = last", se eliminarán todas las filas duplicadas, excepto la última aparición.

Ejemplo

En el siguiente ejemplo, se eliminan todas las filas duplicadas excepto solo la última aparición.

importar pandas como pd
estado_df = pd.read_csv ("C: / Users / DELL / Desktop / Population_ds.csv ")
Dup_Rows = df_state [df_state.duplicado ()]
print ("\ n \ nDuplicar filas: \ n ".formato (Dup_Rows))
DF_RM_DUP = df_state.drop_duplicates (mantener = 'último')
print ('\ n \ nResultado DataFrame después de la eliminación de duplicados: \ n', DF_RM_DUP.cabeza (n = 5))

En la siguiente imagen, los duplicados se eliminan y solo se conserva la última aparición de la fila:

Eliminar todas las filas duplicadas

Para eliminar todas las filas duplicadas de una tabla, configure "keep = False", de la siguiente manera:

importar pandas como pd
estado_df = pd.read_csv ("C: / Users / DELL / Desktop / Population_ds.csv ")
Dup_Rows = df_state [df_state.duplicado ()]
print ("\ n \ nDuplicar filas: \ n ".formato (Dup_Rows))
DF_RM_DUP = df_state.drop_duplicates (mantener = Falso)
print ('\ n \ nResultado DataFrame después de la eliminación de duplicados: \ n', DF_RM_DUP.cabeza (n = 5))

Como puede ver en la siguiente imagen, todos los duplicados se eliminan del marco de datos:

Eliminar duplicados relacionados de una columna especificada

De forma predeterminada, la función comprueba todas las filas duplicadas de todas las columnas en el marco de datos dado. Pero también puede especificar el nombre de la columna usando el parámetro de subconjunto.

Ejemplo

En el siguiente ejemplo, todos los duplicados relacionados se eliminan de la columna 'Estados'.

importar pandas como pd
estado_df = pd.read_csv ("C: / Users / DELL / Desktop / Population_ds.csv ")
Dup_Rows = df_state [df_state.duplicado ()]
print ("\ n \ nDuplicar filas: \ n ".formato (Dup_Rows))
DF_RM_DUP = df_state.drop_duplicates (subconjunto = 'Estado')
print ('\ n \ nResultado DataFrame después de la eliminación de duplicados: \ n', DF_RM_DUP.cabeza (n = 6))

Conclusión

Este artículo le mostró cómo eliminar filas duplicadas de un marco de datos utilizando el drop_duplicates () función en Pandas Python. También puede borrar sus datos de duplicación o redundancia usando esta función. El artículo también le mostró cómo identificar cualquier duplicado en su marco de datos.

OpenTTD frente a Simutrans
Crear su propia simulación de transporte puede ser divertido, relajante y extremadamente atractivo. Es por eso que debes asegurarte de probar tantos j...
Tutorial de OpenTTD
OpenTTD es uno de los juegos de simulación empresarial más populares que existen. En este juego, necesitas crear un maravilloso negocio de transporte....
SuperTuxKart para Linux
SuperTuxKart es un gran título diseñado para ofrecerte la experiencia Mario Kart de forma gratuita en tu sistema Linux. Es bastante desafiante y diver...