Texto
Hay tres cosas distintas que todo el mundo llama «texto»: una secuencia de caracteres (str), una secuencia de bytes (bytes) y una codificación que traduce de la primera a la segunda (UTF-8). El error clásico no es elegir mal la codificación, es no darse cuenta de que hay una traducción.
En una línea
Sección titulada «En una línea»len() cuenta caracteres; la memoria y el disco cuentan bytes; UTF-8 es quien decide cuántos bytes ocupa cada carácter.
len() no es el tamaño
Sección titulada «len() no es el tamaño»| Cadena | len() |
Bytes UTF-8 | getsizeof |
|---|---|---|---|
"a" × 10 |
10 | 10 | 51 B |
"ñ" × 10 |
10 | 20 | 67 B |
"😀" × 10 |
10 | 40 | 100 B |
python mediciones/01-06-09-argumentos-numeros-texto-hash.py
La misma longitud lógica, cuatro veces el peso. Ningún límite de columna basado en `len()` protege de esto.
UTF-8 es de longitud variable: un carácter ASCII ocupa 1 byte, uno latino 2, uno del plano astral 4. Por eso una columna VARCHAR(10) puede rechazar diez emojis y aceptar diez letras, y por eso el límite de un campo de texto casi nunca debe medirse con len().
Por dentro: también cambia en memoria
Sección titulada «Por dentro: también cambia en memoria»CPython guarda el texto de forma compacta y elige el ancho según el carácter más ancho de la cadena (PEP 393): 1 byte por carácter si todo es ASCII, 2 si hay algo hasta U+FFFF, 4 si hay emoji. Por eso "ñ"×10 pesa 67 bytes y no 51: la cadena entera se almacena en 2 bytes por carácter.
La consecuencia es que añadir un solo emoji a una cadena de un millón de caracteres ASCII multiplica su memoria por cuatro. No hay penalización parcial: el ancho es de la cadena entera.
Normalización: dos textos que se ven iguales
Sección titulada «Normalización: dos textos que se ven iguales»| Comprobación | Resultado |
|---|---|
len("café") en forma NFC |
4 |
len("café") en forma NFD |
5 |
NFC == NFD |
False |
normalize("NFC", NFD) == NFC |
True |
verificado en CPython 3.13
En NFC, la é es un solo carácter (U+00E9). En NFD, es e + acento combinante. Se imprimen idénticas y no son iguales: dos usuarios escriben «café» de formas distintas, una búsqueda por igualdad falla, y el bug se ve como «a veces no encuentra el registro».
Regla: normaliza a NFC al entrar datos y usa casefold() en lugar de lower() para comparar sin distinguir mayúsculas. casefold maneja la ß alemana y otras parejas que lower no resuelve.
Tres operaciones que no son la misma
Sección titulada «Tres operaciones que no son la misma»| Operación | Convierte | Cuándo |
|---|---|---|
s.encode("utf-8") |
str → bytes |
Al escribir en disco o red |
b.decode("utf-8") |
bytes → str |
Al leer de disco o red |
unicodedata.normalize("NFC", s) |
str → str |
Al comparar o guardar texto de usuario |
Las dos primeras fallan si la codificación no es la correcta, y ese fallo es información: significa que alguien asumió mal. La tercera nunca falla y casi nadie la llama, que es la razón de que existan registros duplicados que se ven idénticos.
Los bordes del sistema son donde se cruzan: un archivo, un socket, una variable de entorno, un argumento de línea de comandos. Todo lo que entra o sale es bytes en algún momento. El interior del programa debería ser str siempre.
La trampa
Sección titulada «La trampa»Cuándo NO obsesionarse con Unicode
Sección titulada «Cuándo NO obsesionarse con Unicode»- En texto interno que nunca sale del proceso y viene de una fuente controlada, la normalización es coste sin beneficio.
- Al ordenar para mostrar, la respuesta correcta no es
sorted()sinolocale.strxfrmopyuca, porque el orden alfabético depende del idioma. - En binario (imágenes, comprimidos, protocolos), trabaja con
bytesy no decodifiques nunca.stres para texto humano.
Ejercicio
Sección titulada «Ejercicio»Un formulario limita el nombre a 20 caracteres con len(nombre) <= 20. Un usuario pega un nombre con emojis y la base de datos lo rechaza. Explica qué pasó y cómo se arregla sin cambiar el límite visible.
Solución
len() contó 20 caracteres, pero el campo de la base mide bytes y cada emoji ocupa 4. Veinte caracteres pueden ser ochenta bytes.
Arreglo correcto: medir en la unidad que impone el destino.
nombre = "José Müller 😀"print(len(nombre), "caracteres", len(nombre.encode("utf-8")), "bytes")if len(nombre.encode("utf-8")) <= 80: print("cabe en 80 bytes")Y si el límite es de negocio («20 caracteres»), entonces el campo debe ser de tipo texto con longitud en caracteres, no VARCHAR medido en bytes. La lección es la del capítulo: hay tres unidades y el sistema tiene que ponerse de acuerdo en cuál usa cada capa.
Referencias
Sección titulada «Referencias»- Ramalho, L. Fluent Python, 2ª ed. Capítulo 4: Unicode Text Versus Bytes.
- Lott, S. F. Modern Python Cookbook, 3ª ed. Recetas 1.6 a 1.8: caracteres Unicode, codificar y decodificar.
- PEP 393: representación compacta de cadenas en CPython.
- Mediciones:
mediciones/01-06-09-argumentos-numeros-texto-hash.py.
Capítulos relacionados
Sección titulada «Capítulos relacionados»- 01 · Todo es un objeto: por qué la cabecera de
strson unos 40 bytes. - 09 · Hashabilidad: por qué
"café"y"cafe\u0301"pueden ser claves distintas. - 11 · Elección por coste: el texto como el objeto más caro por unidad de información.