Saltearse al contenido

Pereza y expresiones generadoras

Una comprensión de lista construye; una expresión generadora promete. La sintaxis difiere en dos corchetes y el consumo de memoria en un factor de noventa mil. Es el intercambio más rentable que ofrece el lenguaje, y también el que más bugs silenciosos produce cuando se olvida que un generador sólo se recorre una vez.

La lista paga por adelantado y se puede recorrer mil veces; el generador paga por elemento y se consume una sola vez.

Sumar un millón de cuadrados
Forma Tiempo Memoria pico
sum([i for i in range(N)]) 46.1 ms 38.6 MB
sum(i for i in range(N)) 32.2 ms 0.44 KB
sum(range(N)) 12.0 ms 0.44 KB

python mediciones/03-05-08-iteracion.py

El generador no sólo ocupa 87 000 veces menos: es más rápido, porque no construye una lista de un millón de punteros que nadie va a reutilizar. Cuando el consumidor es una reducción (sum, min, max, any, all), materializar es trabajo perdido.

range gana a los dos porque está escrito en C y no tiene máquina de estados.

  • Una sola pasada. Si el resultado se reduce o se escribe, no hace falta la lista.
  • Corte temprano. any(x > 0 for x in datos) se detiene en el primer positivo; con lista, recorre todo.
  • Fuente grande o infinita. Archivos de gigabytes, flujos, generadores infinitos con islice.
  • Composición. Un pipeline de generadores procesa fila a fila con memoria constante.
  • Varias pasadas. La segunda devuelve vacío.
  • Operaciones que necesitan todos los elementos. sorted, len, max sobre una lista ya construida, reversed.
  • Depuración. Un generador no se puede inspeccionar: no hay nada dentro hasta que se consume.
total = sum(f(x) for x in datos if condicion(x))

Una línea, memoria constante, sin lista intermedia. Frente a:

total = sum([f(x) for x in datos if condicion(x)]) # corchetes de más

Los corchetes no son un detalle de estilo: fuerzan la materialización completa antes de sumar.

No todos los consumidores recorren todo. Los que pueden decidir con un elemento lo hacen, y con un generador eso ahorra el resto del trabajo:

Consumidor ¿Corta antes? Cuándo
any() Sí, al primer True Validación «existe alguno»
all() Sí, al primer False Validación «todos cumplen»
sum(), min(), max() No Necesitan todo
list(), sorted() No Materializan
# Con un millón de datos y el primero válido, esto termina de inmediato
if any(es_valido(x) for x in datos_grandes):
...

Con una lista, any también corta, pero la lista ya se construyó entera antes. La pereza es lo que hace que el corte ahorre de verdad.

  • Si el resultado se va a usar dos veces. Materializa una vez y comparte la lista.
  • Si necesitas el tamaño antes de procesar. len exige una secuencia.
  • Si el coste por elemento domina y la colección es pequeña: la lista es más rápida por elemento.
  • En APIs públicas, devuelve una lista si el consumidor razonable espera poder recorrerla dos veces. La pereza es un detalle de implementación que sorprende.

Un informe necesita: el total, el máximo y cuántos superan un umbral, sobre un archivo de un millón de líneas. Escribe la versión con memoria constante y explica por qué la versión con lista es peor incluso siendo más rápida por elemento.

Solución
def valores(ruta):
with open(ruta, encoding="utf-8") as f:
for linea in f:
yield float(linea)
total = maximo = 0.0
superan = 0
import os
import tempfile
ruta = os.path.join(tempfile.gettempdir(), "datos.txt")
with open(ruta, "w", encoding="utf-8") as f:
f.write("10\n150\n80\n300\n")
for v in valores(ruta):
total += v
maximo = max(maximo, v)
superan += v > 100

Una pasada, tres acumuladores, memoria constante. La versión con lista construiría un millón de float (24 bytes cada uno más los punteros: unos 40 MB) para recorrerlos tres veces o una.

Es peor aunque cada iteración sea más rápida, porque el coste dominante no es el bucle: es la memoria y, en un archivo grande, la posibilidad de no caber. Además, la versión de una pasada funciona igual con un archivo de cien gigabytes.

Si hicieran falta más estadísticas que requieren dos pasadas (mediana, desviación), entonces sí hay que materializar o usar streaming aproximado.

Comprobación con datos de ejemplo:

print("total:", total)
print("maximo:", maximo)
print("superan 100:", superan)
assert (total, maximo, superan) == (540.0, 300.0, 2), "10 + 150 + 80 + 300"
os.remove(ruta)
  • Ramalho, L. Fluent Python, 2ª ed. Capítulo 17.
  • CPython 3.13: Python/ceval.c (protocolo FOR_ITER y StopIteration).
  • Mediciones: mediciones/03-05-08-iteracion.py.
  • 06 · Generadores: el mecanismo que hace posible la pereza.
  • 05 · Iterables e iteradores: por qué un generador se agota.
  • 08 · Context managers: cerrar el recurso aunque el consumidor abandone.