Eliminar líneas duplicadas

Cuándo necesitas una lista sin duplicados

Los duplicados se cuelan por todas partes: listas de correo unidas desde varias hojas de cálculo (con el riesgo de enviar la misma newsletter dos veces), listas de palabras clave para SEO, códigos de descuento, referencias de almacén, columnas exportadas de un CSV. Esta herramienta conserva siempre la primera aparición de cada línea, así que el orden original de tu lista no cambia nunca: solo se descartan las repeticiones posteriores. Las líneas vacías no cuentan como duplicadas y se quedan donde están: para quitarlas está la casilla «Quitar las líneas vacías».

Mayúsculas y minúsculas: cuándo ignorarlas

Para las direcciones de correo conviene activar la opción: JUAN@MAIL.COM y juan@mail.com son el mismo buzón, así que deberían contar como duplicados. En cambio, para los códigos de producto, las contraseñas o los identificadores técnicos las mayúsculas pueden tener significado: deja la casilla sin marcar. En cualquier caso, la línea que se conserva mantiene su escritura original, totalmente intacta.

Los duplicados que el ordenador no ve

Dos líneas pueden parecer idénticas sin serlo. El caso más común es el espacio invisible al principio o al final, y aquí no cuenta: en la comparación esos espacios se ignoran, junto con los caracteres invisibles de ancho cero que a veces se cuelan al copiar, y la línea que se conserva está escrita tal como la pegaste. Los espacios dobles en medio y el tabulador usado en lugar del espacio, en cambio, sí cuentan, porque a veces forman parte del dato: si quieres que no cuenten, marca también «Quitar los espacios de más», que actúa antes de la comparación.

La otra trampa son los caracteres que se parecen: el apóstrofo recto y el curvo, el guion corto y el largo, la «a» latina y la cirílica. A ojo son la misma línea, para la comparación son dos líneas distintas, y ninguna cantidad de atención humana las distingue. Las letras acentuadas escritas de dos maneras, la «é» entera o la «e» seguida del acento suelto, como pasa al copiar nombres de archivo desde un Mac, en cambio se comparan como iguales.

Mayúsculas y acentos: depende del dato

En las direcciones de correo la parte posterior a la arroba no distingue mayúsculas, así que MARIO@MAIL.COM y mario@mail.com son el mismo buzón y hay que unificarlos. En una contraseña o un código, en cambio, las mayúsculas cuentan y unificarlas destruiría el dato.

Con los acentos casi siempre conviene distinguir: «pero» y «però» son palabras distintas. La excepción son las listas de nombres propios escritos por personas distintas, donde «Nicolo» y «Nicolò» son casi con seguridad la misma persona: ahí la elección no es técnica, es una decisión sobre qué contiene la lista.

Quitar los duplicados no siempre es el objetivo

A veces la pregunta de verdad es qué líneas se repiten y cuántas veces, no hacerlas desaparecer: en una lista de pedidos, un duplicado es un error que hay que entender, no ocultar. Borrarlo antes de mirarlo hace perder la información más útil.

Vale la pena también decidir qué copia se conserva: la primera o la última. Si las líneas llevan una fecha o un número correlativo, la última suele ser la versión buena; si la lista es un registro cronológico, la primera. Con líneas idénticas da igual, con líneas parecidas no.

Varias limpiezas a la vez, en un orden fijo

Debajo del recuadro están las diez limpiezas de esta familia, y puedes marcar todas las que quieras: cada página empieza con la suya ya marcada. El programa es el mismo en las diez, así que el mismo texto con las mismas casillas da el mismo resultado en cualquier página donde lo pegues.

El orden no depende de qué casillas marques y es el orden en que las ves: primero los caracteres (emojis, acentos, números, puntuación), luego los espacios dentro de cada línea (tabulaciones, sangría, espacios de más), después las líneas enteras (vacías y duplicadas) y por último la unión en una sola línea. Así, una línea que se queda vacía al quitar los emojis desaparece con las líneas vacías, y dos líneas que se vuelven iguales al quitar los espacios cuentan como duplicadas.

Las páginas hermanas, cada una con su casilla ya marcada: Quitar espacios de más, Quitar la sangría, Eliminar líneas vacías, Quitar emojis, Quitar acentos, Quitar la puntuación, Quitar los números, Texto en una sola línea y Tabulaciones a espacios.

Herramientas cercanas

Para reordenar la lista antes o después está Ordenar líneas, y para ver cuánto ocupa Contador de palabras. Si las líneas vienen de un CSV, Limpiar un CSV hace el trabajo sobre las columnas.