Como encontrar e manipular linhas duplicadas no Linux

1. Filtrando apenas as linhas que se repetem

Se você tem um arquivo e precisa saber quais entradas aparecem mais de uma vez, utilize a opção -d (duplicated):

$ sort arquivo.txt | uniq -d

Este comando exibirá apenas uma instância de cada linha que possui duplicatas.

2. Contando as ocorrências

Para uma análise mais profunda (como identificar IPs em um log ou palavras mais frequentes), a opção -c (count) é a ideal:

$ sort arquivo.txt | uniq -c | sort -nr

O que acontece aqui?

1. sort: Ordena o arquivo.
2. uniq -c: Conta as repetições e prefixa cada linha com o número de vezes que ela apareceu.
3. sort -nr: Ordena numericamente (-n) de forma reversa (-r), colocando as linhas mais frequentes no topo.

3. Exibindo todas as linhas duplicadas

Se o seu objetivo é ver o conteúdo bruto das linhas que se repetem (todas as ocorrências, não apenas uma), utilize o -D:

$ sort arquivo.txt | uniq -D

4. Removendo duplicatas (Limpando o arquivo)

Se você quer apenas um arquivo limpo, com entradas únicas, pode usar o uniq puro ou o próprio atalho do sort:

# Opção 1:

$ sort arquivo.txt | uniq > unico.txt

# Opção 2 (mais eficiente):

$ sort -u arquivo.txt > unico.txt

5. O "Pulo do Gato": Mantendo a ordem original com awk

O problema do sort é que ele altera a sequência cronológica ou lógica do seu arquivo. Se você precisa remover ou encontrar duplicatas preservando a ordem original, o awk é a ferramenta certa:

Para remover duplicatas mantendo a ordem:

$ awk '!seen[$0]++' arquivo.txt

Para mostrar apenas as linhas que estão sobrando (as duplicatas):

$ awk 'seen[$0]++ == 1' arquivo.txt

Aqui, o awk usa um array associativo (seen) para indexar o conteúdo da linha e verificar se ele já passou pelo processamento antes.

Resumo de Opções do uniq

Conclusão: Para arquivos pequenos e médios, a combinação sort | uniq é imbatível pela simplicidade. Para arquivos gigantescos ou quando a ordem é sagrada, o awk assume o protagonismo.