Remover linhas duplicadas [RESOLVIDO]

1. Remover linhas duplicadas [RESOLVIDO]

Mauriciodez
(usa Debian)

Enviado em 26/12/2017 - 12:31h

Pessoas ... preciso remover linhas duplicadas de um arquivo ... não posso simplesmente gerar outro arquivo pois o arquivo é incrementado dinamicamente e outros scripts o leem tb.

A principio pensei em marcar as linhas duplicadas de alguma forma e depois remover as linhas marcadas com o SED, só q boiei em alguma solução para marca-las ...

tipo...

lê linha

se EXISTIR o mesmo conteudo nas linhas superiores insrira "#" no inicio

remova as linhas iniciadas com "#"

não me importo se vai ser um script gigantesco para fazer isso, só preciso do arquivo original alterado fisicamente !!!

EDIT: outra opção que aventurei ... seria mandar o comando "sort txt.txt | uniq " para a memória e depois substituir o conteúdo de "txt.txt" pela memória !!! mais fica a pergunta ... como ???

Tb tenho a opção de mandar o comando para um "temp.txt", substituir o conteúdo e deletar "temp.txt", na moral, eu tava meio que querendo evitar essa solução !!!

0 0

Quote

2. MELHOR RESPOSTA

Ryuk
(usa Nenhuma)

Enviado em 26/12/2017 - 14:15h

Vejaí!!!

sort -u arquivo.txt -o arquivo.txt

1 0

Quote

3. Re: Remover linhas duplicadas [RESOLVIDO]

Mauriciodez
(usa Debian)

Enviado em 26/12/2017 - 21:20h

Ryuk escreveu:

Vejaí!!!

sort -u arquivo.txt -o arquivo.txt

eu pensei q se eu substituisse o arquivo ele zeraria !!!

tá massa ...

abçs

------------------------------------------| Linux User #621728 |-----------------------------------------

" Nem sempre é amigo aquele que te tira do buraco !!! ( Saddam Hussein )"

------------------------------------------| Linux User #621728 |-----------------------------------------

0 0

Quote