Команда uniq в Linux с примерами

Утилита uniq — инструмент командной строки Linux, который используется для фильтрации и отображения уникальных строк из входных данных. Ее часто применяют в сочетании с другими командами или в качестве части конвейера. Основная функция uniq — оставить в файле только уникальные строки, удалив все дубликаты.

В этой статье мы покажем, как использовать команду uniq в ОС Linux.

Содержание:

1. Синтаксис команды uniq
2. Использования команды uniq в ОС Linux
   1. Удаление смежных дублирующихся строк
   2. Подсчет дублирующихся строк
   3. Удаление повторяющихся строк с учетом регистра
   4. Отображение только дублирующихся строк
   5. Разделение дублирующихся строк абзацами
   6. Вывод уникальных строк из входных данных
3. Выводы

Синтаксис команды uniq

Команда uniq имеет достаточно простой синтаксис, который выглядит следующим образом:

uniq [options] [input_file] [output_file]

Где:

• [options] — необязательные опции, которые изменяют поведение команды;
• [input_file] — название входного файла, строки которого должна обработать команда uniq (если входной файл не указан, утилита считывает данные из стандартного ввода);
• [output_file] — название выходного файла, куда будут записаны строки после обработки (если он не указан, uniq выведет результаты в терминал).

Далее мы покажем примеры использования uniq со следующими опциями:

• -c — подсчитывает, сколько раз строка встречается во входных данных;
• -i — указывает команде игнорировать регистр входных данных;
• -d — отображает только строки, которые повторяются;
• -D — показывает повторяющиеся строки с их дубликатами;
• --all-repeated — разделяет повторяющиеся строки абзацами;
• --group — группирует входные данные и разделяет их абзацами;
• -u — отображает только уникальные строки во входных данных.

Читайте также: 10 полезных приемов для терминала Linux.

Использования команды uniq в ОС Linux

В качестве примера мы будем использовать файл 123.txt. Выведем его содержимое на экран с помощью команды cat:

cat 123.txt

Удаление смежных дублирующихся строк

Если выполнить команду uniq без каких-либо опций, она удалит все соседние повторяющиеся строки. Например:

uniq 123.txt

На скриншоте выше видно, что в результате вывода команды присутствуют две строки qwerty. Чтобы удалить все повторяющиеся строки, для начала отсортируйте содержимое файла с помощью sort, а затем примените команду uniq:

sort 123.txt | uniq

Читайте также: Как использовать sort в Linux — часть 1.

Подсчет дублирующихся строк

Параметр -c позволяет узнать, сколько строк из входных данных повторяются. К примеру:

uniq -c 123.txt
sort 123.txt | uniq -c

Важно: использование sort помогает более точно определить количество повторяющихся строк.

Удаление повторяющихся строк с учетом регистра

В нашем тренировочном файле есть одинаковые слова, которые содержат символы разного регистра. По умолчанию uniq принимает их за разные слова. Вы можете указать команде игнорировать регистр букв с помощью опции -i:

uniq -i 123.txt
sort 123.txt | uniq -i

Читайте также: 13 примеров команды cat для начинающих в Linux.

Отображение только дублирующихся строк

Чтобы узнать, какие строки повторяются в текстовом файле, выполните команду uniq с параметром -d. Например:

uniq -d 123.txt
sort 123.txt | uniq -d

На скриншоте выше видно, что команда вывела на экран только слова, которые повторяются. Если Вам нужно отобразить на экране эти строки вместе с их дубликатами, используйте опцию -D:

uniq -D 123.txt
sort 123.txt | uniq -D

Разделение дублирующихся строк абзацами

Утилита uniq позволяет форматировать ее вывод. Например, Вы можете разделить группы повторяющихся строк абзацами. Для этого следует использовать параметр --all-repeated со значением separate:

uniq --all-repeated=separate 123.txt
sort 123.txt | uniq --all-repeated=separate

Если Вам в результате также нужно оставить уникальные строки, замените параметр --all-repeated на --group:

uniq --group=separate 123.txt
sort 123.txt | uniq --group=separate

Читайте также: 15 примеров команды ls в Linux.

Вывод уникальных строк из входных данных

Вы можете узнать, какие строки из входных данных не повторяются. Для этого примените команду uniq с опцией -u:

uniq -u 123.txt
sort 123.txt | uniq -u

Выводы

Теперь Вы знаете, как использовать команду uniq с различными опциями для удаления повторяющихся строк из входных данных. Показанные в этой статье примеры помогут Вам при обработке текста в командной строке Linux.

Спасибо за время, уделенное прочтению статьи!

Если возникли вопросы — задавайте их в комментариях.

Подписывайтесь на обновления нашего блога и оставайтесь в курсе новостей мира инфокоммуникаций!

Чтобы знать больше и выделяться знаниями среди толпы IT-шников, записывайтесь на курсы Cisco, курсы по кибербезопасности, полный курс по кибербезопасности, курсы DevNet / DevOps (программируемые системы) от Академии Cisco, курсы Linux от Linux Professional Institute на платформе SEDICOMM University (Университет СЭДИКОММ).