Saltearse al contenido

Texto

Hay tres cosas distintas que todo el mundo llama «texto»: una secuencia de caracteres (str), una secuencia de bytes (bytes) y una codificación que traduce de la primera a la segunda (UTF-8). El error clásico no es elegir mal la codificación, es no darse cuenta de que hay una traducción.

len() cuenta caracteres; la memoria y el disco cuentan bytes; UTF-8 es quien decide cuántos bytes ocupa cada carácter.

Diez caracteres, tres tamaños
Cadena len() Bytes UTF-8 getsizeof
"a" × 10 10 10 51 B
"ñ" × 10 10 20 67 B
"😀" × 10 10 40 100 B

python mediciones/01-06-09-argumentos-numeros-texto-hash.py

Bytes UTF-8 para diez caracteres
ASCII (a) 10 B Latino (ñ) 20 B Emoji (😀) 40 B

La misma longitud lógica, cuatro veces el peso. Ningún límite de columna basado en `len()` protege de esto.

UTF-8 es de longitud variable: un carácter ASCII ocupa 1 byte, uno latino 2, uno del plano astral 4. Por eso una columna VARCHAR(10) puede rechazar diez emojis y aceptar diez letras, y por eso el límite de un campo de texto casi nunca debe medirse con len().

CPython guarda el texto de forma compacta y elige el ancho según el carácter más ancho de la cadena (PEP 393): 1 byte por carácter si todo es ASCII, 2 si hay algo hasta U+FFFF, 4 si hay emoji. Por eso "ñ"×10 pesa 67 bytes y no 51: la cadena entera se almacena en 2 bytes por carácter.

La consecuencia es que añadir un solo emoji a una cadena de un millón de caracteres ASCII multiplica su memoria por cuatro. No hay penalización parcial: el ancho es de la cadena entera.

Normalización: dos textos que se ven iguales

Sección titulada «Normalización: dos textos que se ven iguales»
El mismo texto, dos representaciones
Comprobación Resultado
len("café") en forma NFC 4
len("café") en forma NFD 5
NFC == NFD False
normalize("NFC", NFD) == NFC True

verificado en CPython 3.13

En NFC, la é es un solo carácter (U+00E9). En NFD, es e + acento combinante. Se imprimen idénticas y no son iguales: dos usuarios escriben «café» de formas distintas, una búsqueda por igualdad falla, y el bug se ve como «a veces no encuentra el registro».

Regla: normaliza a NFC al entrar datos y usa casefold() en lugar de lower() para comparar sin distinguir mayúsculas. casefold maneja la ß alemana y otras parejas que lower no resuelve.

Operación Convierte Cuándo
s.encode("utf-8") str → bytes Al escribir en disco o red
b.decode("utf-8") bytes → str Al leer de disco o red
unicodedata.normalize("NFC", s) str → str Al comparar o guardar texto de usuario

Las dos primeras fallan si la codificación no es la correcta, y ese fallo es información: significa que alguien asumió mal. La tercera nunca falla y casi nadie la llama, que es la razón de que existan registros duplicados que se ven idénticos.

Los bordes del sistema son donde se cruzan: un archivo, un socket, una variable de entorno, un argumento de línea de comandos. Todo lo que entra o sale es bytes en algún momento. El interior del programa debería ser str siempre.

  • En texto interno que nunca sale del proceso y viene de una fuente controlada, la normalización es coste sin beneficio.
  • Al ordenar para mostrar, la respuesta correcta no es sorted() sino locale.strxfrm o pyuca, porque el orden alfabético depende del idioma.
  • En binario (imágenes, comprimidos, protocolos), trabaja con bytes y no decodifiques nunca. str es para texto humano.

Un formulario limita el nombre a 20 caracteres con len(nombre) <= 20. Un usuario pega un nombre con emojis y la base de datos lo rechaza. Explica qué pasó y cómo se arregla sin cambiar el límite visible.

Solución

len() contó 20 caracteres, pero el campo de la base mide bytes y cada emoji ocupa 4. Veinte caracteres pueden ser ochenta bytes.

Arreglo correcto: medir en la unidad que impone el destino.

nombre = "José Müller 😀"
print(len(nombre), "caracteres", len(nombre.encode("utf-8")), "bytes")
if len(nombre.encode("utf-8")) <= 80:
print("cabe en 80 bytes")

Y si el límite es de negocio («20 caracteres»), entonces el campo debe ser de tipo texto con longitud en caracteres, no VARCHAR medido en bytes. La lección es la del capítulo: hay tres unidades y el sistema tiene que ponerse de acuerdo en cuál usa cada capa.

  • Ramalho, L. Fluent Python, 2ª ed. Capítulo 4: Unicode Text Versus Bytes.
  • Lott, S. F. Modern Python Cookbook, 3ª ed. Recetas 1.6 a 1.8: caracteres Unicode, codificar y decodificar.
  • PEP 393: representación compacta de cadenas en CPython.
  • Mediciones: mediciones/01-06-09-argumentos-numeros-texto-hash.py.
  • 01 · Todo es un objeto: por qué la cabecera de str son unos 40 bytes.
  • 09 · Hashabilidad: por qué "café" y "cafe\u0301" pueden ser claves distintas.
  • 11 · Elección por coste: el texto como el objeto más caro por unidad de información.