pandas

pandas.DataFrame.rank

admin — Fri, 15 Jan 2021 15:44:48 +0000

pandas.DataFrame.rank admin Vie, 15/01/2021 - 16:44

Nombre completo

pandas.DataFrame.rank

Librería

pandas

Sintaxis

DataFrame.rank(
   axis=0,
   method='average',
   numeric_only=None,
   na_option='keep',
   ascending=True,
   pct=False
)

Descripción

El método rank de un DataFrame pandas devuelve otro DataFrame pandas en el que los valores son el resultado de asignar rangos (desde 1 hasta n) a los valores del DataFrame original considerándolos ordenados, por defecto, de menor a mayor a lo largo del eje 0. Es decir, el menor valor de una columna recibe el rango 1, el siguiente el 2, etc. El parámetro method controla el método de asignación de rangos a valores coincidentes.

El índice del DataFrame original se mantiene. Los rangos asignados son números reales.

Parámetros

axis: (0 o "index" -valor por defecto-, 1 o "columns" ) Eje a lo largo del cual se calculan los rangos.
method: ("average" -valor por defecto-, "min", "max", "first", "dense") Criterio para asignar rangos a valores coincidentes. Estos criterios parten de los rangos que se asignarían al grupo de valores si cada valor recibiese un rango distinto (véanse ejemplos más adelante).
- "average": (Valor por defecto) devuelve el valor medio de los rangos que se asignarían al grupo.
- "min": Valor mínimo del grupo. El siguiente valor (fuera del grupo) recibe como rango el asignado al grupo + n, siendo n el número de elementos del grupo.
- "max": Valor máximo del grupo.
- "first": Rangos asignados según el orden en el que los valores aparecen en la serie.
- "dense": semejante a "min" pero el siguiente valor (fuera del grupo) recibe como rango el asignado al grupo + 1.
na_option: ("keep" -valor por defecto-, "top", "bottom"). Controla la gestión de los valores nulos:
- "keep": Asigna el rango NaN a los valores NaN.
- "top": Asigna el menor rango a los valores NaN.
- "bottom": Asigna el mayor rango a los valores NaN.
ascending: (Booleano, True por defecto). Si toma el valor True los rangos se asignarán de menor a mayor valor (el menor valor recibirá el rango 1.0).
pct: (Booleano, False por defecto). Controla si los rangos se mostrarán con formato de fracción.

Resultado

El método pandas.DataFrame.rank devuelve un DataFrame pandas.

Ejemplos

Para probar este método, generemos un DataFrame formado por valores numéricos aleatorios:

import numpy as np
import pandas as pd

np.random.seed(0)

df = pd.DataFrame(np.random.randint(0, 10, size = (4, 5)), index = list("ABCD"))
df

Ahora ejecutamos el método con sus parámetros por defecto:

df.rank()

Observamos que, por defecto, los rangos se han asignado a lo largo del eje 0 (eje vertical). La columna 1 estaba formada por valores crecientes (0, 3, 6 y 7), por lo que los rangos asignados son 1.0, 2.0, 3.0 y 4.0, respectivamente.

En la columna 0 el menor valor es el 5 (índice "A"), que recibe el rango 1.0. El siguiente valor -considerándolos de menor a mayor- es el número 6 (índice "D") que recibe el rango 2.0.

En la columna 4 hay dos valores 1. Si recibiesen rangos diferentes, al tratarse de los valores más bajos, recibirían los rangos 1.0 y 2.0 (o viceversa, es indiferente), por lo que se muestran en el resultado con el valor medio de dichos rangos (1.5).

Algo semejante observamos en la columna 3, en la que hay dos valores 8 (los más elevados) que recibirían los rangos 3 y 4 (si los rangos asignados fuesen diferentes), motivo por el que reciben el rango 3.5.

Si, en el ejemplo anterior, quisiéramos modificar el comportamiento para los valores repetidos, podríamos hacerlo añadiendo el parámetro method. Por ejemplo, podríamos asignar el menor rango (de los que se asignarían si los rangos fuesen diferentes) con el siguiente código:

df.rank(method = "min")

En este caso, los dos valores 1 presentes en la columna 4 han recibido un rango de 1.0 (que es el menor de los rangos 1.0 y 2.0 que se asignarían si los rangos fuesen distintos). Vemos, sin embargo, que ningún número ha recibido el rango 2.0.

Si deseásemos que la asignación de rangos a valores iguales fuese la determinada por el parámetro "min" visto pero se realizase sin dejar huecos, podríamos conseguirlo asignando el valor "dense" al parámetro method:

df.rank(method = "dense")

Vemos que los dos valores 1 de la columna 4 siguen recibiendo el rango 1.0, pero el siguiente rango asignado es ahora 2.0.

El parámetro ascending controla la forma de asignar rangos: suponiendo los valores ordenados de menor a mayor (valor por defecto) u ordenados de mayor a menor, lo que podemos controlar de la siguiente forma:

df.rank(ascending = False)

Ahora los rangos 1.0 se asignan a los mayores valores de cada columna.

Si quisiéramos que los rangos se asignasen a lo largo del eje horizontal, bastaría con especificar el eje 1 (o "index") en el parámetro axes:

df.rank(axis = 1)

Ahora, la fila "A" que estaba compuesta por los valores 5, 0, 3, 3, 7 recibe los rangos 4.0, 1.0, 2.5, 2.5 y 5.0. El número 0 -el menor de todos- es el que ha recibido el rango 1.0. Los valores 3 que aparecen dos veces reciben el rango 2.5 (media de 2.0 y 3.0).

Este método no solo se aplica a valores numéricos. Carguemos en la variable df 5 registros aleatorios extraídos del dataset titanic que podemos descargar de la librería seaborn:

import seaborn as sns

titanic = sns.load_dataset("titanic").sample(5)
titanic

Si ahora aplicamos el método rank vemos que todas las columnas reciben rangos:

titanic.rank()

Podemos seleccionar solo las columnas numéricas con el parámetro numeric_only:

titanic.rank(numeric_only = True)

pandas.Series.rank

admin — Fri, 15 Jan 2021 09:07:07 +0000

pandas.Series.rank admin Vie, 15/01/2021 - 10:07

Nombre completo

pandas.Series.rank

Librería

pandas

Sintaxis

Series.rank(
   axis=0,
   method='average',
   numeric_only=None,
   na_option='keep',
   ascending=True,
   pct=False
)

Descripción

El método rank de una serie pandas devuelve otra serie pandas en la que los valores son el resultado de asignar rangos (desde 1 hasta n) a los valores de la serie original considerándolos ordenados, por defecto, de menor a mayor. Es decir, el menor valor recibe el rango 1, el siguiente el 2, etc. El parámetro method controla el método de asignación de rangos a valores coincidentes.

El índice de la serie original se mantiene. Los rangos asignados son números reales.

Parámetros

axis: (0 o "index") Eje a lo largo del cual se calculan los rangos. Solo está permitido el valor 0 o "index" (valor por defecto), no la opción 1 (o "columns"), reservada para DataFrames
method: ("average" -valor por defecto-, "min", "max", "first", "dense") Criterio para asignar rangos a valores coincidentes. Estos criterios parten de los rangos que se asignarían al grupo de valores si cada valor recibiese un rango distinto (véanse ejemplos más adelante)
- "average": (Valor por defecto) devuelve el valor medio de los rangos que se asignarían al grupo
- "min": Valor mínimo del grupo. El siguiente valor (fuera del grupo) recibe como rango el asignado al grupo + n, siendo n el número de elementos del grupo
- "max": Valor máximo del grupo
- "first": Rangos asignados según el orden en el que los valores aparecen en la serie
- "dense": semejante a "min" pero el siguiente valor (fuera del grupo) recibe como rango el asignado al grupo + 1
na_option: ("keep" -valor por defecto-, "top", "bottom"). Controla la gestión de los valores nulos:
- "keep": Asigna el rango NaN a los valores NaN
- "top": Asigna el menor rango a los valores NaN
- "bottom": Asigna el mayor rango a los valores NaN.
ascending: (bool, True por defecto). Si toma el valor True los rangos se asignarán de menor a mayor valor (el menor valor recibirá el rango 1.0).
pct: (bool, False por defecto) Controla si los rangos se mostrarán con formato de fracción.

Resultado

El método rank de una serie pandas devuelve otra serie pandas.

Ejemplos

Si partimos de una serie pandas formada por los valores 3, 6, 2 y 8:

s = pd.Series([3, 6, 2, 8], index = list("ABCD"))
s

A 3
B 6
C 2
D 8
dtype: int64

...podemos obtener los rangos de estos valores aplicando el método rank:

s.rank()

A 2.0
B 3.0
C 1.0
D 4.0
dtype: float64

Como vemos, el valor más bajo de la serie original (2, cuyo índice era "C") ha recibido el rango 1.0. El siguiente -considerados de menor a mayor (3, cuyo índice era "A")- ha recibido el rango 2.0, etc.

Comprobamos también que los rangos son números reales.

Si hay valores repetidos, por defecto se devuelve el valor medio de los rangos que éstos recibirían si se asignasen rangos diferentes. Por ejemplo:

s = pd.Series([3, 6, 2, 3], index = list("ABCD"))
s

A 3
B 6
C 2
D 3
dtype: int64

s.rank()

A 2.5
B 4.0
C 1.0
D 2.5
dtype: float64

Si se hubiesen asignado rangos diferentes, los valores 3 (índices "A" y "D") habrían recibido los rangos 2.0 y 3.0 (o 3.0 y 2.0, es indiferente), por lo que su valor medio es 2.5.

Si quisiéramos que los valores repetidos recibiesen, por ejemplo, el rango mínimo de los que recibirían en el caso de asignarse rangos distintos, podemos hacer uso del parámetro method:

s.rank(method = "min")

A 2.0
B 4.0
C 1.0
D 2.0
dtype: float64

Como hemos visto en el ejemplo anterior, los valores 3 recibirían los rangos 2.0 y 3.0, por lo que su valor mínimo es 2.0. Obsérvese que, con este criterio, ningún valor recibe el rango 3.0 y que el siguiente valor fuera del grupo (el valor 6 cuyo índice es "B") recibe el siguiente rango disponible (4.0).

Si deseásemos cambiar el comportamiento mostrado en el ejemplo anterior podemos aplicar como método "dense":

s.rank(method = "dense")

A 2.0
B 3.0
C 1.0
D 2.0
dtype: float64

En este caso los valores repetidos reciben el rango mínimo (2.0), pero el siguiente valor fuera del rango (el valor 6 de índice "B") recibe el siguiente rango (3.0).

Es posible controlar el orden de asignación de los rangos con el parámetro ascending:

s = pd.Series([3, 6, 2, 8], index = list("ABCD"))
s

A 3
B 6
C 2
D 8
dtype: int64

s.rank(ascending = False)

A 3.0
B 2.0
C 4.0
D 1.0
dtype: float64

Comprobamos que, en este caso, es el mayor valor (el valor 8 de índice "D") el que recibe el rango 1.0.

Si la serie original incluye NaN's, por defecto reciben como rango NaN's:

s = pd.Series([3, np.nan, 6, 2, 8, np.nan], index = list("ABCDEF"))
s

A 3.0
B NaN
C 6.0
D 2.0
E 8.0
F NaN
dtype: float64

s.rank()

A 2.0
B NaN
C 3.0
D 1.0
E 4.0
F NaN
dtype: float64

Si quisiéramos que los NaN's recibiesen un rango numérico, podemos hacer uso del parámetro na_option. Si éste toma el valor "top", los NaN's reciben el rango más bajo:

s.rank(na_option = "top")

A 4.0
B 1.5
C 5.0
D 3.0
E 6.0
F 1.5
dtype: float64

Vemos que los dos NaN's han recibido el rango 1.5 (valor medio de 1.0 y 2.0, pues ya sabemos que, por defecto, el criterio de asignación para valores coincidentes es "average").

Si se asigna al parámetro pct el valor True, los rangos se asignan con formato de fracción:

s = pd.Series([3, 6, 2, 8], index = list("ABCD"))
s

A 3
B 6
C 2
D 8
dtype: int64

s.rank()

A 2.0
B 3.0
C 1.0
D 4.0
dtype: float64

s.rank(pct = True)

A 0.50
B 0.75
C 0.25
D 1.00
dtype: float64

pandas.crosstab

admin — Fri, 13 Nov 2020 09:17:32 +0000

pandas.crosstab admin Vie, 13/11/2020 - 10:17

Nombre completo

pandas.crosstab

Librería

pandas

Sintaxis

pandas.crosstab(
   index,
   columns,
   values = None,
   rownames = None,
   colnames = None,
   aggfunc = None,
   margins = False,
   margins_name = 'All',
   dropna = True,
   normalize = False
)

Descripción

La función pandas.crosstab devuelve la tabla de contingencia resultante de cruzar dos o más campos de un dataframe. Aunque, por defecto, el resultado evalúa las frecuencias (absolutas o relativas) de cada combinación de valores, es posible especificar una función de agregación.

Parámetros

index: Variable tipo array, serie pandas o lista de arrays/series, valores según los cuales desagregar las filas.
columns: Variable tipo array, serie pandas o lista de arrays/series, valores según los cuales desagregar las columnas.
values: Valores a los que aplicar las funciones de agregación indicadas por el parámetro aggfunc.
rownames: Secuencia. Nombres a dar a los niveles del índice de filas del resultado.
colnames: Secuencia. Nombres a dar a los niveles del índice de columnas del resultado.
aggfunc: Función o secuencia de funciones. Funciones de agregación a aplicar a los valores dados por el parámetro values para cada combinación de filas y columnas identificada.
margins: Booleano. Si toma el valor True, la tabla resultante incluirá subtotales.
margins_name: String. Nombre a dar a la fila o columna que contendrá los subtotales. Por defecto se aplica el nombre "All".
dropna: Booleano. Si toma el valor True, el resultado no considerará las columnas cuyos valores sean todos NaN.
normalize: Booleano, string o número entero. En función del valor que tome este parámetro, en lugar de una tabla de frecuencias absolutas, el resultado incluirá una tabla de frecuencias relativas calculadas con respecto al total, al subtotal de filas o al subtotal de columnas. Concretamente:
- Si este parámetro toma el valor "all" o True, la normalización se realizará con respecto al número total de muestras.
- Si toma el valor "index" o 0, la normalización se realizará con respecto al subtotal correspondiente a cada fila.
- Si toma el valor "columns" o 1, la normalización se realizará con respecto al subtotal correspondiente a cada columna.
- Si toma el valor False (valor por defecto), el resultado de la función no se normalizará.

Resultado

La función pandas.crosstab devuelve un dataframe pandas.

Ejemplos

Partamos del dataset tips proveído por la librería seaborn:

import pandas as pd
import seaborn as sns

tips = sns.load_dataset("tips")
tips.head()

Este dataset incluye 244 muestras:

tips.shape

(244, 7)

Podríamos averiguar el reparto de muestras resultante de cruzar los campos "sex" y "smoker" con la siguiente instrucción:

pd.crosstab(tips.sex, tips.smoker)

Observamos que las 244 muestras se reparten de la siguiente forma:

60 hombres fumadores
97 hombres no fumadores
33 mujeres fumadoras
54 mujeres no fumadoras

crosstab & groupby

Obsérvese que podríamos haber obtenido el mismo resultado aplicando la función pandas.DataFrame.groupby. Comenzamos agrupando la tabla tips según los valores de los campos "sex" y "smoker" y aplicando la función count como función de agregación:

tips.groupby(["sex", "smoker"])["tip"].count()

sex smoker
Male Yes 60
No 97
Female Yes 33
No 54
Name: tip, dtype: int64

...y aplicamos el método pandas.DataFrame.unstack:

tips.groupby(["sex", "smoker"])["tip"].count().unstack()

crosstab & pivot_table

También podríamos haber obtenido el mismo resultado usando la función pandas.DataFrame.pivot_table (funcionalidad (también disponible como método), aplicando como función de agregación la "longitud" del bloque de datos correspondiente a uno de los dos campos involucrados:

tips.pivot_table(index = "sex", columns = "smoker", aggfunc = {"sex": len})

La desagregación de filas y columnas puede realizarse según más de una variable. Por ejemplo:

pd.crosstab([tips.sex, tips.time], tips.smoker)

Parámetros margins y margins_name

El uso del parámetro margins nos permite añadir subtotales de filas y columnas (no es posible mostrar subtotales solo en una única dimensión):

pd.crosstab(tips.sex, tips.smoker, margins = True)

El nombre de la fila/columna con el subtotal puede configurarse usando el parámetro margins_name:

pd.crosstab(tips.sex, tips.smoker, margins = True, margins_name = "subtotal")

Parámetro normalize

En lugar de mostrar las frecuencias absolutas de cada combinación, podemos "normalizar" dichas frecuencias con respecto al total o con respecto a los subtotales de filas o columnas. Por ejemplo, si asignamos al parámetro normalize el valor True, la normalización se realiza con respecto al total de muestras:

pd.crosstab(tips.sex, tips.smoker, normalize = True)

En el resultado anterior comprobamos que, redondeando, el 24.5% de las muestras corresponden a hombres fumadores, el 39.7% a hombres no fumadores, el 13.5% a mujeres fumadoras, y el 22.1% a mujeres no fumadoras. Por supuesto, la suma de estos cuatro porcentajes es 100%.

Si queremos que la normalización se realice según el subtotal de filas -por ejemplo-, podríamos conseguirlo con el siguiente código:

pd.crosstab(tips.sex, tips.smoker, normalize = "index")

En este resultado vemos que el 100% de los hombres se divide en un 38.2% que fuma y en un 61.7% que no fuma. Y que el 100% de las mujeres se divide en un 37.9% que fuma y en un 62.0% que no lo hace.

Parámetros rownames y colnames

Estos parámetros se utilizan para dar nombres a los índices. Por ejemplo, si estamos cruzando los campos "sex" y "smoker" como en los ejemplos anteriores, los índices de filas y columnas reciben esos mismos nombres:

pd.crosstab(tips.sex, tips.smoker)

Pero podríamos cambiarlos usando los parámetros en cuestión:

pd.crosstab(
tips.sex,
tips.smoker,
rownames = ["Sexo"],
colnames = ["Fumador"]
)

Si estuviésemos cruzando más de dos campos (incluyendo el resultado un índice multinivel), el número de nombre deberá coincidir con el número de niveles de cada índice. Por ejemplo:

pd.crosstab(
[tips.sex, tips.time],
tips.smoker,
rownames = ["Sexo", "Tipo"],
colnames = ["Fumador"]
)

Parámetros aggfunc y values

Todos los ejemplos vistos hasta ahora desagregaban los campos que se llevaban a filas y columnas y se contabilizaba su frecuencia (absoluta o relativa). Pongamos un ejemplo muy simple: llevemos a la variable t un conjunto de 8 muestras aleatorias extraídas del dataset tips:

t = tips.sample(8, random_state = 0)
t

Obtengamos ahora la tabla de contingencia cruzando los campos sex y smoker:

pd.crosstab(t.sex, t.smoker)

Ya sabemos que lo que estamos haciendo es agrupar las muestras según el criterio definido por la combinación de los valores de los dos campos. Por ejemplo, en el resultado anterior vemos que hay tres hombre fumadores, dos hombres no fumadores, dos mujeres fumadoras y una mujer no fumadora.

Sin embargo, una vez desagregados nuestros datos en estos cuatro bloques, podríamos estar interesados en aplicar una o más funciones de agregación a campos adicionales del dataset. Por ejemplo, podríamos querer calcular el valor medio de las propinas (campo tip) para estos bloques de clientes.

Pues bien, esto es exactamente lo que nos permiten los parámetros aggfunc y values: el primero nos permite indicar la función o funciones de agregación a aplicar y, el segundo, los datos a los que aplicarlos. El valor medio de las propinas mencionado podría obtenerse con el siguiente código:

pd.crosstab(t.sex, t.smoker, aggfunc = "mean", values = t.tip)

Confirmemos que el cálculo es correcto: vimos que hay tres hombres fumadores. Si revisamos el dataset t vemos que las propinas dejadas por estos clientes toman los valores 3.76, 3.08 y 5.65:

t.loc[(t.sex == "Male") & (t.smoker == "Yes")]

El valor medio de estos tres valores es 4.1633, que es el valor que aparece como resultado de nuestra tabla de contingencia.

Podemos aplicar más de una función de agregación. Por ejemplo, podríamos estar interesados en el valor medio y en el valor máximo de las propinas para cada uno de esos cuatro grupos de clientes:

pd.crosstab(t.sex, t.smoker, aggfunc = ["mean", "max"], values = t.tip)

pandas.DataFrame.drop

admin — Sat, 07 Nov 2020 12:46:49 +0000

pandas.DataFrame.drop admin Sáb, 07/11/2020 - 13:46

Nombre completo

pandas.DataFrame.drop

Librería

pandas

Sintaxis

DataFrame.drop(
   labels = None,
   axis = 0,
   index = None,
   columns = None,
   level = None,
   inplace = False,
   errors = 'raise'
)

Descripción

El método .drop() asociado a un dataframe pandas devuelve una copia del mismo tras eliminar las filas o columnas indicadas. Éstas deberán referenciarse por sus etiquetas explícitas, no por su posición en el eje.

La eliminación se realiza, por defecto, en el eje vertical (se eliminan filas, por lo tanto).

Parámetros

labels: Etiqueta o lista de etiquetas a eliminar.
axis: Eje en el que realizar la eliminación. Puede indicarse el valor 0 o "index" para hacer referencia al eje 0 (y eliminar filas), o el valor 1 o "columns" para hacer referencia al eje 1 (y eliminar columnas). El valor por defecto es 0.
index: Etiqueta o lista de etiquetas a eliminar del eje 0.
columns: Etiqueta o lista de etiquetas a eliminar del eje 1.
level: Número entero o nombre del nivel a eliminar de un índice multinivel.
inplace: Booleano. Si toma el valor True, la eliminación se realiza en el mismo dataframe. Si toma el valor False, el método devuelve una copia del dataframe tras eliminar las filas o columnas especificadas.
errors: Este parámetro puede tomar los valores "ignore" o "raise" y se considera cuando alguna de las etiquetas referenciadas no existe. El valor por defecto es "raise" lo que provoca que la función devuelva un error cuando alguna etiqueta no exista. Si se fija el valor de este parámetro a "ignore", los errores son ignorados.

Los parámetros index y columns son alternativas al parámetro axis. Solo puede indicarse un parámetro de entre axis, index y columns.

Resultado

El resultado es un dataframe pandas con independencia del número de filas o columnas que se eliminen.

Ejemplos

Partimos del dataframe tips proveído por seaborn:

tips.head()

Por defecto se eliminan filas y se devuelve una copia del dataframe tras realizar la eliminación:

tips.drop(2).head()

Obtenemos el mismo resultado si especificamos el parámetro "index":

tips.drop(index = 2).head()

Es posible eliminar simultáneamente más de una fila o columna pasando como argumento no una etiqueta sino una lista de ellas:

tips.drop(columns = ["tip", "smoker"]).head()

Si alguna de las etiquetas indicadas no existe, el método devuelve un error:

try:
tips.drop(columns = ["tip", "smoker", "weather"]).head()
except:
print("Error")

Error

Sin embargo, podemos forzar que la función ignore estas etiquetas inexistentes asignando al parámetro errors el valor "ignore":

tips.drop(columns = ["tip", "smoker", "weather"], errors = "ignore").head()

El resultado es un dataframe aun cuando se eliminen todas las filas o todas las columnas:

df = tips.drop(tips.columns, axis = 1)
df

type(df)

pandas.core.frame.DataFrame

Multi-índices

Para probar el comportamiento de esta función con multi-índices partimos del siguiente dataframe:

data = tips.pivot_table(index = ["sex", "time"])
data

Si deseamos eliminar, por ejemplo, la etiqueta "Male" del índice (etiqueta que se encuentra en el nivel 0 del multi-índice), podemos conseguirlo con el siguiente código:

data.drop(index = ["Male"], level = 0)

Podemos obtener el mismo resultado haciendo referencia no al nivel, sino a su nombre:

data.drop(index = ["Male"], level = "sex")

La función permite eliminar etiquetas de niveles "superiores". Por ejemplo:

data.drop(index = ["Lunch"], level = "time")

pandas.DataFrame.select_dtypes

admin — Fri, 06 Nov 2020 12:36:22 +0000

pandas.DataFrame.select_dtypes admin Vie, 06/11/2020 - 13:36

Nombre completo

pandas.DataFrame.select_dtypes

Librería

pandas

Sintaxis

DataFrame.select_dtypes(
include = None,
exclude = None
)

Descripción

El método de un dataframe select_dtypes devuelve el subconjunto del dataframe formado por las columnas de los tipos especificados, pudiendo especificarse los tipos que se quieren seleccionar y/o aquellos que se quieren excluir.

Los tipos pueden referenciarse por su nombre (np.number, por ejemplo) o por una cadena de texto ("category", por ejemplo).

Si queremos seleccionar todos los tipos numéricos deberemos usar np.number o "number".
El tipo object devuelve todas las columnas de tipo objeto, incluyendo los textos.
Para seleccionar fechas podemos usar np.datetime64, "datetime" o "datetime64".
Para seleccionar timedeltas podemos usar np.timedelta64, "timedelta" o "timedelta64".
Si queremos seleccionar los tipos categóricos de pandas deberemos usar "category".
Para seleccionar los tipos datetimezn de pandas podemos usar "datetimetz" o "datetime64[ns, tz]".

Parámetros

include: Tipo o lista de tipos que se quieren incluir en la selección.
exclude: Tipo o lista de tipos que se quieren excluir de la selección.

Resultado

El método select_dtypes devuelve una vista del dataframe original con formato DateTime (con independencia del número de columnas devueltas).

Ejemplos

Si partimos del dataset tips proveído por seaborn:

tips = sns.load_dataset("tips")
tips.head()

...podríamos seleccionar solo los campos numéricos (con independencia de su tipo exacto) con el siguiente código:

tips_number = tips.select_dtypes(np.number)
tips_number.head()

En el caso de proporcionar tanto el parámetro include como el exclude, se seleccionarán los campos que cumplan ambos criterios. Por ejemplo, el dataset tips incluye datos numéricos de tipos float e int:

tips.dtypes

total_bill float64
tip float64
sex category
smoker category
day category
time category
size int64
dtype: object

Si incluimos los tipos numéricos y excluimos el tipo float, el resultado incluye solo la columna "size":

tips_number = tips.select_dtypes(include = np.number, exclude = float)
tips_number.head()

Si, por el contrario, incluimos solo el tipo float pero excluimos los tipos numéricos, el resultado es un dataframe vacío:

tips_number = tips.select_dtypes(include = float, exclude = np.number)
tips_number.head()

pandas.Series.str

admin — Thu, 05 Nov 2020 16:50:04 +0000

pandas.Series.str admin Jue, 05/11/2020 - 17:50

Nombre completo

pandas.Series.str

Librería

pandas

Sintaxis

pandas.Series.str()

Descripción

El método str de una serie pandas nos da acceso a funciones vectorizadas de tratamiento de cadenas de texto, haciendo innecesario el recurrir a bucles externos.

Parámetros

El método pandas.Series.str no acepta parámetros.

Ejemplos

Supongamos que partimos de la siguiente serie pandas:

s = pd.Series(["Enero", "Febrero", "Marzo", "Abril", "Mayo", "Junio"])
s

0 Enero
1 Febrero
2 Marzo
3 Abril
4 Mayo
5 Junio
dtype: object

Si deseásemos, por ejemplo, convertir los nombres de los meses a mayúsculas, podríamos pensar que el único método es recurrir a bucles externos o a una list comprehension:

[t.upper() for t in s]

['ENERO', 'FEBRERO', 'MARZO', 'ABRIL', 'MAYO', 'JUNIO']

...para reasignar estos valores a nuestra serie s:

s = pd.Series([t.upper() for t in s])
s

0 ENERO
1 FEBRERO
2 MARZO
3 ABRIL
4 MAYO
5 JUNIO
dtype: object

Sin embargo, el rendimiento de este tipo de herramientas es inferior al que nos ofrecen las funciones vectorizadas, por lo que sería conveniente disponer de este tipo de funciones para poder aplicarlas a los valores de las estructuras pandas uno por uno ("element-wise"). Pues bien, el método str precisamente nos da acceso a este tipo de funciones. Por ejemplo, si partimos de nuestra serie s original:

s = pd.Series(["Enero", "Febrero", "Marzo", "Abril", "Mayo", "Junio"])
s

0 Enero
1 Febrero
2 Marzo
3 Abril
4 Mayo
5 Junio
dtype: object

...para convertir los textos a mayúsculas valdría con ejecutar el siguiente código:

s = s.str.upper()
s

0 ENERO
1 FEBRERO
2 MARZO
3 ABRIL
4 MAYO
5 JUNIO
dtype: object

Podemos visualizar el conjunto de nombres asociados a este método para confirmar las funciones a las que tenemos acceso:

print([i for i in dir(pd.Series.str) if not i.startswith("_")])

['capitalize', 'casefold', 'cat', 'center', 'contains', 'count', 'decode', 'encode', 'endswith', 'extract', 'extractall', 'find', 'findall', 'get', 'get_dummies', 'index', 'isalnum', 'isalpha', 'isdecimal', 'isdigit', 'islower', 'isnumeric', 'isspace', 'istitle', 'isupper', 'join', 'len', 'ljust', 'lower', 'lstrip', 'match', 'normalize', 'pad', 'partition', 'repeat', 'replace', 'rfind', 'rindex', 'rjust', 'rpartition', 'rsplit', 'rstrip', 'slice', 'slice_replace', 'split', 'startswith', 'strip', 'swapcase', 'title', 'translate', 'upper', 'wrap', 'zfill']

Extracción de una columna de un DataFrame como Serie independiente

admin — Wed, 24 Jun 2020 09:22:54 +0000

Extracción de una columna de un DataFrame como Serie independiente admin Mié, 24/06/2020 - 11:22

En este sencillo escenario partimos de un DataFrame que incluye tanto las características predictivas como la etiqueta. Por ejemplo... el dataset "iris":

import seaborn as sns

iris = sns.load_dataset("iris")
iris.head()

Si quisiéramos extraer la columna "species" (etiqueta) como Serie Pandas independiente, basta con usar el método .pop() del DataFrame:

y = iris.pop("species")

Ahora la variable y contiene solo el campo en cuestión:

y.head()

...y el DataFrame iris ahora ya no incluye el campo extraído:

iris.head()

Categoría

pandas

Copiado rápido de datos de Excel o Google Sheets a un DataFrame Pandas

admin — Wed, 24 Jun 2020 06:58:33 +0000

Copiado rápido de datos de Excel o Google Sheets a un DataFrame Pandas admin Mié, 24/06/2020 - 08:58

Si tenemos datos contenidos en un libro Excel o en Google Sheets y queremos copiarlos a nuestro notebook en forma de DataFrame Pandas podemos, por supuesto, volcar dicho fichero a disco (en formato Excel o CSV) y leerlo usando funciones de esta librería. Pero hay otro método más rápido. Supongamos que tenemos el siguiente dataset en un libro Excel:

Deberemos seleccionar las celdas en cuestión y copiarlas al clipboard (con Control-C en Windows). A continuación ejecutamos la función pd.read_clipboard() de pandas:

import pandas as pd

data = pd.read_clipboard()

En este momento, la variable data contiene ya el DataFrame resultante de la lectura del clipboard, cosa que podemos comprobar volcando la variable en pantalla:

data

Ahora resultará conveniente volcar el DataFrame a disco para poder usarlo en futuras ocasiones...

Categoría

pandas

Codificación rápida de una columna categoría de un DataFrame

admin — Tue, 23 Jun 2020 17:40:26 +0000

Codificación rápida de una columna categoría de un DataFrame admin Mar, 23/06/2020 - 19:40

Librerías como Scikit-Learn o Pandas (por mencionar apenas un par de ellas) nos ofrece diferentes codificadores de características predictivas categóricas (LabelEncoder, OneHotEncoder, get_dummies, etc.), herramientas que nos devuelven los valores codificados, las etiquetas originales, el diccionario usado para la codificación, etc. Pero a veces nos encontraremos con la situación de querer codificar una característica predictiva a valores entre 0 y el número de clases -1, y no estamos interesados en ninguna otra funcionalidad. Por ejemplo, carguemos el dataset "tips" proveído por seaborn:

import seaborn as sns

data = sns.load_dataset("tips")
data.tail()

...y supongamos que queremos codificar la característica smoker a los valores 0 y 1 (y que no nos importa la asignación exacta que se realice). Este tipo de codificación "rápida y sucia" puede obtenerse con el siguiente código:

data.smoker.astype("category").cat.codes

Comprobamos que, tras convertir el campo a tipo categórico y extraer los códigos, obtenemos un 1 para cada valor "No" de la característica predictiva y un 0 para los valores "Yes".

Si deseásemos sustituir la característica original por la versión codificada, bastaría con ejecutar el siguiente código:

data.smoker = data.smoker.astype("category").cat.codes
data.tail()

Categoría

pandas

Configuración del número de columnas mostradas en un DataFrame

admin — Tue, 23 Jun 2020 17:11:24 +0000

Configuración del número de columnas mostradas en un DataFrame admin Mar, 23/06/2020 - 19:11

Con cierta frecuencia tenemos que trabajar con DataFrames pandas que, al ser mostrados en un cuaderno Jupyter, muestran solo parte de las columnas que incluyen. Por ejemplo, carguemos el dataset Breast Cancer de Scikit Learn:

from sklearn.datasets import load_breast_cancer
import pandas as pd

data = load_breast_cancer()
df = pd.DataFrame(data.data, columns = data.feature_names)

En la captura de pantalla anterior podemos ver que se muestra una barra de desplazamiento horizontal en la parte inferior pues el número de columnas es relativamente elevado, pero no es posible visualizar todas ellas, cosa que queda patente por la presencia de los puntos suspensivos que se muestran en cierta columna del DataFrame.

Y la pregunta que podemos hacernos es, ya que podemos usar una barra de desplazamiento ¿por qué no poder visualizar todas las columnas? Pues bien, el número máximo de columnas a mostrar puede configurarse fijando el valor de la variable pd.options.display.max_columns. Por ejemplo, el dataset anterior tiene 30 columnas:

len(df.columns)

Si fijamos el número máximo de columnas a una cifra igual o superior o este número:

pd.options.display.max_columns = 50

...ahora, al mostrar el DataFrame, no se mostrará la columna de puntos suspensivos hasta que no se supere dicha cifra, permitiéndonos visualizar todas las columnas:

Si fijamos como número máximo el valor None, se mostrarán siempre todas las columnas del DataFrame.

Categoría

pandas