Como Remover Linhas Duplicadas de uma Lista (Online e no Excel)
Juntar listas de várias fontes quase sempre gera linhas repetidas: e-mails que aparecem duas vezes, palavras-chave duplicadas, URLs coladas de abas diferentes. Remover essas duplicatas na mão é lento e sujeito a erro. Veja como fazer isso em segundos — online, no Excel e no Google Sheets.
Índice
- A forma mais rápida: online
- As opções que mudam o resultado
- Como remover duplicados no Excel
- Como remover duplicados no Google Sheets
- Como remover duplicados na linha de comando
- E os duplicados "quase iguais"?
- Casos de uso
- Perguntas Frequentes
- Ferramentas relacionadas
A forma mais rápida: online
- Abra o Removedor de Linhas Duplicadas.
- Cole a lista, uma entrada por linha.
- Ajuste as opções (explicadas abaixo).
- Copie o resultado — a ferramenta ainda mostra quantas linhas foram removidas.
Tudo roda no navegador; nenhum dado é enviado para servidores.
Ferramenta gratuita
Remover linhas duplicadas agora
Cole a lista, escolha se quer ignorar maiúsculas e espaços, e copie só as linhas únicas.
As opções que mudam o resultado
| Opção | O que faz | Quando usar |
|---|---|---|
| Ignorar maiúsculas e minúsculas | Brasil e brasil contam como iguais | listas de nomes, palavras-chave |
| Ignorar espaços nas bordas | " item" e "item" contam como iguais | dados colados de planilhas |
| Remover linhas vazias | descarta linhas em branco | quase sempre |
| Ordenar alfabeticamente | resultado em ordem A–Z | quando a ordem original não importa |
Por padrão, a ordem original é preservada e a primeira ocorrência de cada linha é mantida.
O que conta como linha duplicada
A comparação é exata, caractere por caractere — não é uma busca por "parecidos". Isso significa que estas linhas não são duplicatas entre si, a menos que você ative a opção correspondente:
| Linha A | Linha B | Duplicata? |
|---|---|---|
| [email protected] | [email protected] | sim |
| [email protected] | [email protected] | só com ignorar maiúsculas |
| [email protected] (espaço no fim) | [email protected] | só com ignorar espaços |
| João | Joao | nunca (acento é outro caractere) |
| item 1 | item 1 (dois espaços) | nunca |
Se a sua lista tem variações de acento ou de espaçamento interno, normalize antes: passe pelo Removedor de Acentos e pelo Removedor de Espaços, e só então remova as duplicatas.
Exemplo passo a passo
Entrada:
Maçã
banana
maçã
Banana
laranja
laranja
- Sem opção nenhuma: 6 linhas → 6 (nenhuma é idêntica a outra).
- Com ignorar maiúsculas:
Maçã,banana,laranja→ 3 linhas (o espaço antes de "laranja" ainda diferencia). - Com ignorar maiúsculas + ignorar espaços:
Maçã,banana,laranja→ 3 linhas, mantendo a primeira grafia de cada uma.
Como remover duplicados no Excel
- Selecione a coluna.
- Aba Dados → Remover Duplicatas.
- Confirme a coluna e clique em OK — o Excel informa quantos valores removeu.
Para só marcar os repetidos sem apagar: Página Inicial → Formatação Condicional → Regras de Realce → Valores Duplicados.
Como remover duplicados no Google Sheets
Use uma fórmula numa coluna ao lado:
=UNIQUE(A1:A1000)
UNIQUE devolve a lista sem repetições, atualizada automaticamente. Para ignorar diferenças de caixa, combine com LOWER:
=UNIQUE(ARRAYFORMULA(LOWER(A1:A1000)))
Contar quantas vezes cada linha aparece
Antes de descartar, às vezes você quer saber quantas vezes cada valor se repetiu. No Google Sheets ou Excel, ao lado da lista original:
=CONTASE(A:A; A2)
Isso mostra a frequência de cada linha. Combine com UNIQUE para ter a lista distinta com a contagem ao lado — útil para achar o e-mail cadastrado 5 vezes ou a palavra-chave que veio de várias fontes.
Como remover duplicados na linha de comando
Para arquivos grandes, o terminal resolve sem abrir editor:
awk '!seen[$0]++' arquivo.txt # remove duplicadas, mantém a ordem original
sort -u arquivo.txt # remove duplicadas e ordena
sort arquivo.txt | uniq -d # lista apenas as linhas que estavam repetidas
grep -c '^' arquivo.txt # conta o total de linhas antes/depois
O truque do awk é o mais usado: seen[$0]++ guarda cada linha vista; ! deixa passar só a primeira ocorrência.
E os duplicados "quase iguais"?
Esta ferramenta remove linhas idênticas. Ela não detecta:
- Frases reescritas com as mesmas palavras.
- Registros com um dígito ou acento de diferença.
- URLs com e sem barra final, ou com parâmetros de rastreamento.
Para comparar duas versões de um texto e ver o que mudou linha a linha, use um comparador — veja Como comparar textos online. Para deduplicação aproximada de dados (nomes, endereços), o caminho é normalizar os campos e depois aplicar a remoção exata.
Casos de uso
- E-mail marketing: limpar a base antes de importar, evitando enviar duas vezes para o mesmo contato.
- SEO: consolidar listas de palavras-chave de ferramentas diferentes.
- Logs e relatórios: extrair o conjunto de valores distintos (IPs, IDs, URLs).
- Pesquisa acadêmica: unificar referências sem entradas repetidas.
Depois de limpar, você pode numerar a lista ou contar quantos itens sobraram.
Perguntas Frequentes
A ordem da lista é mantida?
Sim, por padrão. A primeira ocorrência de cada linha é preservada na ordem original. A ordenação alfabética é opcional.
Como tratar "Texto" e "texto" como a mesma linha?
Ative "ignorar maiúsculas e minúsculas". A primeira grafia encontrada é a que fica.
E linhas com espaços extras?
Ative "ignorar espaços nas bordas" para que " item" e "item" sejam considerados iguais. Para limpar espaços dentro das linhas, use antes o Removedor de Espaços.
A ferramenta funciona com listas muito grandes?
Sim. Dezenas de milhares de linhas são processadas instantaneamente, porque tudo roda no seu navegador. Para arquivos de centenas de MB, prefira awk ou sort -u no terminal.
Consigo manter só as linhas que aparecem uma única vez?
Essa ferramenta mantém uma cópia de cada linha (remove as repetições). Para ficar apenas com as linhas exclusivas — que não têm nenhuma repetição —, use no terminal sort arquivo.txt | uniq -u.
Meus dados são enviados para algum servidor?
Não. A remoção acontece 100% no navegador; nenhuma linha é transmitida ou armazenada.
A ferramenta funciona com listas muito grandes?
Sim. Dezenas de milhares de linhas são processadas instantaneamente no navegador.
Ferramentas relacionadas
- Removedor de Linhas Duplicadas — deduplica com opções de caixa, espaços e ordem
- Removedor de Espaços — limpa espaços múltiplos, tabs e linhas vazias
- Gerador de Linhas Numeradas — numera a lista final
- Contador de Linhas — conta linhas, palavras e caracteres
Precisa comparar duas versões de um texto? Veja Como comparar textos online.