La commande uniq permet le dédoublonnage de ligne dans un fichier texte.
(Syntax "uniq fichier_entré fichier_sortie")
Elle est trés utile en bash. Pour une utilisation avancée voir le manuel. La commande sort peut faire des choses similaire avec plus d'option.