Pereza y expresiones generadoras
Una comprensión de lista construye; una expresión generadora promete. La sintaxis difiere en dos corchetes y el consumo de memoria en un factor de noventa mil. Es el intercambio más rentable que ofrece el lenguaje, y también el que más bugs silenciosos produce cuando se olvida que un generador sólo se recorre una vez.
En una línea
Sección titulada «En una línea»La lista paga por adelantado y se puede recorrer mil veces; el generador paga por elemento y se consume una sola vez.
La medición
Sección titulada «La medición»| Forma | Tiempo | Memoria pico |
|---|---|---|
sum([i for i in range(N)]) |
46.1 ms | 38.6 MB |
sum(i for i in range(N)) |
32.2 ms | 0.44 KB |
sum(range(N)) |
12.0 ms | 0.44 KB |
python mediciones/03-05-08-iteracion.py
El generador no sólo ocupa 87 000 veces menos: es más rápido, porque no construye una lista de un millón de punteros que nadie va a reutilizar. Cuando el consumidor es una reducción (sum, min, max, any, all), materializar es trabajo perdido.
range gana a los dos porque está escrito en C y no tiene máquina de estados.
Cuándo la pereza gana
Sección titulada «Cuándo la pereza gana»- Una sola pasada. Si el resultado se reduce o se escribe, no hace falta la lista.
- Corte temprano.
any(x > 0 for x in datos)se detiene en el primer positivo; con lista, recorre todo. - Fuente grande o infinita. Archivos de gigabytes, flujos, generadores infinitos con
islice. - Composición. Un pipeline de generadores procesa fila a fila con memoria constante.
Cuándo pierde
Sección titulada «Cuándo pierde»- Varias pasadas. La segunda devuelve vacío.
- Operaciones que necesitan todos los elementos.
sorted,len,maxsobre una lista ya construida,reversed. - Depuración. Un generador no se puede inspeccionar: no hay nada dentro hasta que se consume.
La forma idiomática
Sección titulada «La forma idiomática»total = sum(f(x) for x in datos if condicion(x))Una línea, memoria constante, sin lista intermedia. Frente a:
total = sum([f(x) for x in datos if condicion(x)]) # corchetes de másLos corchetes no son un detalle de estilo: fuerzan la materialización completa antes de sumar.
Los consumidores que cortan antes
Sección titulada «Los consumidores que cortan antes»No todos los consumidores recorren todo. Los que pueden decidir con un elemento lo hacen, y con un generador eso ahorra el resto del trabajo:
| Consumidor | ¿Corta antes? | Cuándo |
|---|---|---|
any() |
Sí, al primer True |
Validación «existe alguno» |
all() |
Sí, al primer False |
Validación «todos cumplen» |
sum(), min(), max() |
No | Necesitan todo |
list(), sorted() |
No | Materializan |
# Con un millón de datos y el primero válido, esto termina de inmediatoif any(es_valido(x) for x in datos_grandes): ...Con una lista, any también corta, pero la lista ya se construyó entera antes. La pereza es lo que hace que el corte ahorre de verdad.
La trampa
Sección titulada «La trampa»Cuándo NO ser perezoso
Sección titulada «Cuándo NO ser perezoso»- Si el resultado se va a usar dos veces. Materializa una vez y comparte la lista.
- Si necesitas el tamaño antes de procesar.
lenexige una secuencia. - Si el coste por elemento domina y la colección es pequeña: la lista es más rápida por elemento.
- En APIs públicas, devuelve una lista si el consumidor razonable espera poder recorrerla dos veces. La pereza es un detalle de implementación que sorprende.
Ejercicio
Sección titulada «Ejercicio»Un informe necesita: el total, el máximo y cuántos superan un umbral, sobre un archivo de un millón de líneas. Escribe la versión con memoria constante y explica por qué la versión con lista es peor incluso siendo más rápida por elemento.
Solución
def valores(ruta): with open(ruta, encoding="utf-8") as f: for linea in f: yield float(linea)
total = maximo = 0.0superan = 0import osimport tempfile
ruta = os.path.join(tempfile.gettempdir(), "datos.txt")with open(ruta, "w", encoding="utf-8") as f: f.write("10\n150\n80\n300\n")
for v in valores(ruta): total += v maximo = max(maximo, v) superan += v > 100Una pasada, tres acumuladores, memoria constante. La versión con lista construiría un millón de float (24 bytes cada uno más los punteros: unos 40 MB) para recorrerlos tres veces o una.
Es peor aunque cada iteración sea más rápida, porque el coste dominante no es el bucle: es la memoria y, en un archivo grande, la posibilidad de no caber. Además, la versión de una pasada funciona igual con un archivo de cien gigabytes.
Si hicieran falta más estadísticas que requieren dos pasadas (mediana, desviación), entonces sí hay que materializar o usar streaming aproximado.
Referencias
Sección titulada «Referencias»- Ramalho, L. Fluent Python, 2ª ed. Capítulo 17.
- CPython 3.13:
Python/ceval.c(protocoloFOR_ITERyStopIteration). - Mediciones:
mediciones/03-05-08-iteracion.py.
Capítulos relacionados
Sección titulada «Capítulos relacionados»- 06 · Generadores: el mecanismo que hace posible la pereza.
- 05 · Iterables e iteradores: por qué un generador se agota.
- 08 · Context managers: cerrar el recurso aunque el consumidor abandone.