Saltearse al contenido

Registros

Un registro es un dato con campos fijos: una fila, un punto, un evento. Python ofrece cinco formas de representarlo y cada una es la correcta en un contexto distinto. La elección se decide con dos números que casi nunca coinciden: cuánto ocupa y cuánto tarda en construirse.

La tupla es la más rápida de construir, el dataclass con slots la más densa, y NamedTuple no gana en ninguna de las dos.

Coste por fila de 100 000 registros de cuatro campos
dataclass(slots) 180 B tuple 188 B NamedTuple 196 B dataclass 220 B dict 300 B

Memoria pico con tracemalloc. El diccionario, que es lo que devuelve `csv.DictReader`, cuesta un 67 % más que una tupla.

Construir 100 000 registros
Representación Tiempo Memoria por fila
tuple 21.7 ms 188 B
dataclass 32.0 ms 220 B
dict 32.6 ms 300 B
dataclass(slots=True) 34.0 ms 180 B
NamedTuple 44.9 ms 196 B

python mediciones/02-08-10-heap-registros-collections.py

La tabla merece leerse dos veces, porque deshace dos intuiciones:

NamedTuple es el más lento de construir (44.9 ms, más del doble que una tupla). Cada instancia pasa por tuple.__new__ con validación de argumentos. A cambio da nombres y sigue siendo una tupla —hashable, desempaquetable— pero paga por ello.

dataclass es más rápido de construir que un dict y pesa menos. La fama de «dataclass es cómodo pero caro» no se sostiene en 3.13.

Necesitas Usa
Máxima velocidad de construcción, sin nombres tuple
Nombres, inmutabilidad, compatibilidad con tuplas NamedTuple
Nombres, valores por defecto, métodos, frozen dataclass
Todo lo anterior con la mínima memoria dataclass(slots=True)
Esquema que cambia en ejecución dict

El dataclass es la opción por defecto razonable: se lee bien, tiene __repr__, __eq__ y documenta los tipos. slots=True se añade cuando hay millones de instancias, no antes.

from dataclasses import dataclass, field
@dataclass(frozen=True, slots=True, kw_only=True)
class Evento:
id: int
tipo: str
etiquetas: tuple[str, ...] = ()
  • frozen=True bloquea la mutación y genera __hash__: el objeto pasa a ser clave válida.
  • slots=True elimina el __dict__ por instancia y ahorra unos 40 bytes por fila.
  • kw_only=True obliga a nombrar los argumentos: Evento(id=1, tipo="x"). Evita el error de pasar dos enteros en el orden equivocado.
  • field(default_factory=list) para valores por defecto mutables.
  • Registro de un solo uso. Si el valor se usa en una función y muere, una tupla local basta y no añade una clase al módulo.
  • Esquema cambiante. Si los campos dependen de la entrada, un dict es la representación honesta; una dataclass obliga a inventar campos vacíos.
  • Frontera de datos externos. Para validar JSON de una API, pydantic hace validación en runtime, que una dataclass no hace. Son problemas distintos.

Un pipeline lee 5 millones de filas de un CSV con csv.DictReader y las procesa en memoria. El proceso muere por memoria. Propón dos cambios concretos y estima el ahorro con los números de este capítulo.

Solución

Cambio 1 — dejar de usar diccionarios. DictReader crea un dict por fila: 300 B. Cambiar a csv.reader y una dataclass(slots=True) baja a 180 B, un 40 % menos. En 5 millones de filas: de 1,5 GB a 0,9 GB.

Cambio 2 — no materializar. Si el pipeline procesa fila a fila, no hace falta la lista completa: un generador mantiene una fila en memoria en lugar de cinco millones.

def filas(ruta):
with open(ruta, encoding="utf-8", newline="") as f:
for r in csv.reader(f):
yield Fila(int(r[0]), r[1], int(r[2]), float(r[3]))

Con las dos, el consumo pasa de gigabytes a unos kilobytes, a cambio de no poder recorrer dos veces. Si hace falta más de una pasada, el cambio 1 solo ya resuelve el problema de memoria.

La tercera opción, si el dato es numérico y homogéneo: array o numpy, capítulo 04.

  • Ramalho, L. Fluent Python, 2ª ed. Capítulo 5: Data Class Builders.
  • Lott, S. F. Modern Python Cookbook, 3ª ed. Capítulo 7: clases y objetos.
  • Mediciones: mediciones/02-08-10-heap-registros-collections.py y mediciones/02-11-coste.py.
  • 03 · tuple: la base de la que salen NamedTuple.
  • 11 · Elección por coste: la misma tabla, con el análisis completo.
  • 05 · dict por dentro: por qué la representación por diccionario es la más cara.