Phenquestions
Pandas .read_csv
Ya he analizado parte de la historia y los usos de los pandas de la biblioteca de Python. pandas fue diseñado a partir de la necesidad de una biblioteca de manipulación y análisis de datos financieros eficiente para Python. Para cargar datos para su análisis y manipulación, pandas proporciona dos métodos, DataReader y read_csv. Cubrí el primero aquí. Este último es el tema de este tutorial.
.read_csv
Existe una gran cantidad de repositorios de datos gratuitos en línea que incluyen información sobre una variedad de campos. He incluido algunos de esos recursos en la sección de referencias a continuación. Debido a que he demostrado las API integradas para extraer datos financieros de manera eficiente aquí, usaré otra fuente de datos en este tutorial.
Datos.gov ofrece una gran selección de datos gratuitos sobre todo, desde el cambio climático hasta U.S. estadísticas de fabricación. He descargado dos conjuntos de datos para usar en este tutorial. La primera es la temperatura máxima diaria media del condado de Bay, Florida. Estos datos fueron descargados de la U.S. Kit de herramientas de resiliencia climática para el período de 1950 hasta la actualidad.
El segundo es la Encuesta de flujo de productos básicos que mide el modo y el volumen de las importaciones en el país durante un período de 5 años.
Ambos enlaces para estos conjuntos de datos se proporcionan en la sección de referencias a continuación. La .read_csv El método, como se desprende del nombre, cargará esta información desde un archivo CSV y creará una instancia Marco de datos fuera de ese conjunto de datos.
Uso
Cada vez que use una biblioteca externa, debe decirle a Python que debe importarse. A continuación se muestra la línea de código que importa la biblioteca de pandas.
importar pandas como pdEl uso básico de la .read_csv el método está debajo. Esto instancia y llena un Marco de datos df con la información en el archivo CSV.
df = pd.read_csv ('12005-anual-hist-obs-tasmax.csv ')Al agregar un par de líneas más, podemos inspeccionar la primera y las últimas 5 líneas del DataFrame recién creado.
df = pd.read_csv ('12005-anual-hist-obs-tasmax.csv ')imprimir (df.cabeza (5))
imprimir (df.cola (5))
El código ha cargado una columna por año, la temperatura media diaria en grados Celsius (tasmax), y ha construido un esquema de indexación basado en 1 que se incrementa para cada línea de datos. También es importante tener en cuenta que los encabezados se completan desde el archivo. Con el uso básico del método presentado anteriormente, se infiere que los encabezados están en la primera línea del archivo CSV. Esto se puede cambiar pasando un conjunto diferente de parámetros al método.
Parámetros
He proporcionado el enlace a los pandas .read_csv documentación en las referencias a continuación. Hay varios parámetros que se pueden utilizar para modificar la forma en que se leen y formatean los datos en el Marco de datos.
Hay un buen número de parámetros para el .read_csv método. La mayoría no son necesarios porque la mayoría de los conjuntos de datos que descargue tendrán un formato estándar. Es decir, columnas en la primera fila y un delimitador de coma.
Hay un par de parámetros que destacaré en el tutorial porque pueden ser útiles. Se puede realizar una encuesta más completa en la página de documentación.
index_col
index_col es un parámetro que se puede utilizar para indicar la columna que contiene el índice. Algunos archivos pueden contener un índice y otros no. En nuestro primer conjunto de datos, dejé que Python creara un índice. Este es el estándar .read_csv comportamiento.
En nuestro segundo conjunto de datos, hay un índice incluido. El siguiente código carga el Marco de datos con los datos en el archivo CSV, pero en lugar de crear un índice incremental basado en números enteros, utiliza la columna SHPMT_ID incluida en el conjunto de datos.
df = pd.read_csv ('cfs_2012_pumf_csv.txt ', index_col =' SHIPMT_ID ')imprimir (df.cabeza (5))
imprimir (df.cola (5))
Si bien este conjunto de datos usa el mismo esquema para el índice, otros conjuntos de datos pueden tener un índice más útil.
nrows, skiprows, usecols
Con conjuntos de datos grandes, es posible que solo desee cargar secciones de los datos. La nrows, saltos, y usecols Los parámetros le permitirán dividir los datos incluidos en el archivo.
df = pd.read_csv ('cfs_2012_pumf_csv.txt ', index_col =' SHIPMT_ID ', nrows = 50)imprimir (df.cabeza (5))
imprimir (df.cola (5))
Añadiendo el nrows parámetro con un valor entero de 50, el .la llamada de cola ahora devuelve líneas hasta 50. El resto de los datos del archivo no se importan.
imprimir (df.cabeza (5))
imprimir (df.cola (5))
Añadiendo el saltos parámetro, nuestro .cabeza col no muestra un índice inicial de 1001 en los datos. Debido a que omitimos la fila del encabezado, los nuevos datos han perdido su encabezado y el índice basado en los datos del archivo. En algunos casos, puede ser mejor dividir sus datos en un Marco de datos en lugar de antes de cargar los datos.
La usecols es un parámetro útil que le permite importar solo un subconjunto de los datos por columna. Se puede pasar un índice cero o una lista de cadenas con los nombres de las columnas. Usé el siguiente código para importar las primeras cuatro columnas a nuestro nuevo Marco de datos.
df = pd.read_csv ('cfs_2012_pumf_csv.TXT',index_col = 'SHIPMT_ID',
nrows = 50, usecols = [0,1,2,3])
imprimir (df.cabeza (5))
imprimir (df.cola (5))
De nuestro nuevo .cabeza llama, nuestro Marco de datos ahora solo contiene las primeras cuatro columnas del conjunto de datos.
motor
Un último parámetro que creo que sería útil en algunos conjuntos de datos es el motor parámetro. Puede utilizar el motor basado en C o el código basado en Python. El motor C, naturalmente, será más rápido. Esto es importante si está importando grandes conjuntos de datos. Los beneficios del análisis de Python son un conjunto más rico en funciones. Este beneficio puede significar menos si está cargando macrodatos en la memoria.
df = pd.read_csv ('cfs_2012_pumf_csv.TXT',index_col = 'SHIPMT_ID', motor = 'c')
imprimir (df.cabeza (5))
imprimir (df.cola (5))
Seguimiento
Hay varios otros parámetros que pueden ampliar el comportamiento predeterminado del .read_csv método. Se pueden encontrar en la página de documentos que mencioné a continuación. .read_csv es un método útil para cargar conjuntos de datos en pandas para el análisis de datos. Debido a que muchos de los conjuntos de datos gratuitos en Internet no tienen API, esto resultará más útil para aplicaciones fuera de los datos financieros donde existen API sólidas para importar datos a pandas.
Referencias
https: // pandas.pydata.org / pandas-docs / estable / generado / pandas.read_csv.html
https: // www.datos.gov /
https: // kit de herramientas.clima.gov / # explorador-climático
https: // www.censo.gov / econ / cfs / pums.html
