Saltearse al contenido

Optimizar sin mentir

La optimización tiene un catálogo de recetas que se copian de un proyecto a otro sin comprobar si siguen siendo ciertas. Algunas lo son y valen 20 veces. Otras eran ciertas en Python 2.4 y hoy cuestan más de lo que ahorran. Este capítulo separa las dos listas con números.

Sólo hay una optimización fiable: la que mide el antes y el después con el mismo caso.

Construir una cadena de 100 000 líneas
Forma Tiempo
"\n".join(partes) 1.08 ms
s += linea en un bucle 21.83 ms (20×)

python mediciones/05-05-07-optimizar-numpy-cache.py

+= sobre cadenas crea, en principio, una cadena nueva en cada vuelta: O(n²). CPython a veces lo optimiza en el sitio (cuando la cadena sólo tiene una referencia), así que el efecto depende de la versión y de la plataforma, y no es una garantía del lenguaje; "".join sí lo es. La tabla es la medición en esta máquina. Es la optimización más rentable del lenguaje y la que más se olvida.

Formatear un número, 200 000 veces
Forma Coste
f-string 168 ns
% 179 ns
.format() 197 ns

python mediciones/05-05-07-optimizar-numpy-cache.py

La f-string gana, pero la diferencia es del 15 %: elige por legibilidad, no por estos nanosegundos.

Y tres que ya aparecieron en el manual:

Optimización Ganancia Capítulo
Comprensión frente a bucle con append 13 % II-02
l += x frente a l = l + x unas 20× I-04
lru_cache en una función pura 5 570× III-04
Receta popular Resultado medido Capítulo
Atar el método a una variable local sin diferencia (35,0 contra 34,9 ns) I-01
__slots__ para acelerar atributos 0 % (15,0 contra 14,9 ns) IV-06
gc.disable() para crear objetos 4 % V-01
array en lugar de list para sumar 2× más lento V-06

Las cuatro eran ciertas en algún momento. El intérprete especializante de 3.11 cambió las dos primeras; el recolector por generaciones hizo marginal la tercera; y la conversión de tipos hizo la cuarta contraproducente.

  1. Perfila y elige la función que domina.
  2. Mide esa función aislada.
  3. Cambia una cosa.
  4. Mide con el mismo caso.
  5. Si no mejora, revierte. Siempre.

El paso 5 es el que no se hace: el código «optimizado» que no mejoró se queda, y se convierte en complejidad permanente sin beneficio.

  • Sin un problema medido. La optimización preventiva es deuda técnica con intereses.
  • Si el código se vuelve ilegible. Un 20 % de mejora que nadie entiende se paga en cada revisión.
  • En la frontera de entrada/salida. Ahí manda el disco o la red, no Python.
  • Si el programa corre una vez al día y tarda 40 segundos. El coste de mantener la optimización supera el ahorro.

Un informe tarda 12 segundos. El perfil dice: 60 % en formatear_fila, 25 % en sorted, 10 % en lectura de CSV. Ordena las intervenciones por ganancia esperada y di qué medirías después de cada una.

Solución
  1. formatear_fila (60 %). Antes de optimizarla, comprobar si se llama más veces de las necesarias: si el informe agrupa por categoría, formatear una vez por categoría en lugar de por fila puede eliminar el 90 % de las llamadas. Ese es el mayor ahorro y no requiere tocar la función.
  2. sorted (25 %). Comprobar si hace falta ordenar todo: heapq.nlargest si sólo se muestran los diez primeros (capítulo II-08), o un dict si el objetivo es agrupar.
  3. CSV (10 %). Cambiar DictReader por reader y una dataclass con slots: 40 % menos memoria, no necesariamente menos tiempo.

Después de cada paso, el mismo perfil sobre los mismos datos. Si formatear_fila sigue al 60 % tras el paso 1, entonces sí hay que optimizar su cuerpo (probablemente, un join en lugar de +=).

  • Ramalho, L. Fluent Python, 2ª ed. Capítulo 17.
  • Slatkin, B. Effective Python, 3ª ed.: ítems sobre rendimiento y estructuras.
  • Mediciones: mediciones/05-05-07-optimizar-numpy-cache.py.
  • 04 · Medir: el instrumento que hace posible este capítulo.
  • 06 · Vectorizar: cuando la respuesta es salir de Python.
  • 02 · list por dentro (Parte II): por qué append es barato y + no.