Wenn die doppelten Zeilen immer hintereinander stehen und du unter Linux oder ähnlichem unterwegs bist, sollte das Tool uniq das gewünschte erledigen.