Как удалить дубликаты строк в файле Linux

У меня есть текстовый файл с точными копиями строк. Мне нужно, удалить все эти дубликаты строк и сохранить порядок оставшихся на Linux или Unix-подобной системе. Как удалить повторяющиеся строки из текстового файла?

Вы можете использовать Perl или AWK или Python, чтобы удалить все повторяющиеся строки из текстового файла на Linux, OS X и Unix-подобных системах.

Например есть файл

cat text.txt
Это тест
Привет, Пользователь!
Это тест
это линия
это еще одна линия
позвоните 911
это против, что
что против этого
Как позвонить 911
что и
Привет, Пользователь!
это против, что
позвоните 911

Как удалить повторяющиеся строки внутри текстового файла с использованием AWK

Синтаксис выглядит следующим образом,сохраняет порядок текстового файла:

awk '!seen[$0]++' input > output
awk '!seen[$0]++' text.txt > output.txt
more output.txt

результат

  Это тест
 Привет, Пользователь!
 это линия
 это еще одна линия
 позвоните 911
 это против, что
 что против этого
 Как позвонить 911
 что и

Как удалить дубликаты строк из текстового файла в Perl?

perl -lne '$seen{$_}++ and next or print;' input > output
perl -lne '$seen{$_}++ and next or print;' text.txt > output.txt
more output.txt

Результат такой же как в предыдущем примере