Как удалить дубликаты файлов в Linux

Утилита fdupes — это инструмент командной строки, предназначенный для поиска и удаления повторяющихся файлов в операционной системе Linux. Ее часто используют для анализа содержимого на жестком диске и улучшения организации файлов.

В этой статье мы расскажем, как применять утилиту fdupes в ОС Linux.

Содержание:

1. Синтаксис команды fdupes
2. Установка fdupes
3. Использование утилиты fdupes
   1. Поиск дубликатов файлов
   2. Рекурсивный поиск одинаковых файлов
   3. Определение размера дубликатов файлов
   4. Поиск повторяющихся файлов в нескольких директориях
   5. Удаление дубликатов файлов
4. Выводы

Синтаксис команды fdupes

Синтаксис этой команды имеет следующий вид:

fdupes [options] DIRECTORY

Где:

• [options] — необязательные опции, которые расширяют функционал команды;
• DIRECTORY — один или несколько каталогов, в которых нужно найти или удалить дубликаты файлов.

Установка fdupes

Установить утилиту fdupes в большинстве популярных дистрибутивов Linux можно с помощью стандартных менеджеров пакетов. Для этого достаточно выполнить одну из следующих команд.

Для Debian / Ubuntu:

sudo apt install fdupes

Читайте также: Поиск и удаление дубликатов файлов с помощью fslint.

Для CentOS / RHEL:

sudo yum install epel-release
sudo yum install fdupes

Для Fedora:

sudo dnf install fdupes

Использование утилиты fdupes

Теперь перейдем к примерам использования команды fdupes с различными ее опциями. Для начала создадим 5 файлов в одной директории и заполним их одним и тем же текстом:

for i in {1..5}; do echo "SEDICOMM is the best university." > sample${i}.txt ; done

Просмотрим список файлов с помощью следующей команды:

ls -l

Важно: в папке Documents содержится еще и шестой файл — sample.txt. Он не похож на остальные пять по содержанию. Проверим это с помощью команды cat:

cat sample1.txt sample2.txt sample3.txt sample4.txt sample5.txt sample.txt

Поиск дубликатов файлов

Чтобы найти повторяющиеся файлы, достаточно выполнить команду fdupes с путем к каталогу, в котором нужно осуществить поиск, указанным в качестве аргумента. Например:

fdupes .

Читайте также: 5 команд для поиска файлов в Linux.

Важно: можно указывать как абсолютный путь, так и относительный.

На скриншоте выше видно, что утилита обнаружила 5 одинаковых файлов, которые мы создали ранее.

Рекурсивный поиск одинаковых файлов

Рекурсивный поиск полезен при работе со сложной структурой каталогов и большим объемом данных. Для этого следует использовать опцию -r. К примеру:

fdupes -r /home/user

Важно: обратите внимание, что утилита объединила одинаковые файлы в одну группу.

Определение размера дубликатов файлов

Инструмент fdupes позволяет узнать, сколько места на диске занимают дубликаты файлов. Допустим, нам нужно выяснить размер каждого из 5 файлов, которые мы создали ранее. Для этого используем команду fdupes с опцией -S:

fdupes -S /home/user/Documents

На скриншоте видно, что размер каждого файла равен 33 байтам.

Поиск повторяющихся файлов в нескольких директориях

Пользователи могут искать одинаковые файлы в нескольких выбранных каталогах (например, в Documents и Downloads). Для этого следует перечислить пути к ним в качестве аргументов к команде fdupes:

fdupes /home/user/Documents /home/user/Downloads

Удаление дубликатов файлов

После того, как пользователь нашел одинаковые файлы в каталоге, он может их удалить. Для этого следует использовать опцию -d. Допустим, нам нужно избавиться от дубликатов, которые мы создали ранее:

fdupes -d /home/user/Documents

Читайте также: Как очистить или удалить файлы журнала в Linux или UNIX.

Утилита запустила интерактивную рабочую область. В ней находятся наши повторяющиеся файлы, у каждого из них есть свой порядковый номер. Мы можем выбрать, какие из них оставить на ПК, а какие — удалить.

Допустим, нам нужно сохранить на жестком диске только файл sample1.txt. Для этого в специальном поле для ввода внизу окна терминала напишем цифру 1 и нажмем Enter:

Как видно на скриншоте, утилита поставила минусы (-) около файлов, которые следует удалить, и плюс (+) около документа, который нужно оставить. Чтобы удалить ненужные файлы, следует написать команду prune в поле для ввода и нажать Enter:

Утилита сообщила, что выбранные дубликаты были удалены (No duplicates remaining). Чтобы убедиться в этом, проверим, остались ли в каталоге повторяющиеся файлы:

ls -l

Выводы

Утилита fdupes позволяет с легкостью находить дубликаты файлов в операционной системе Linux. Простой синтаксис и разнообразные опции делают ее полезным инструментом для пользователей, желающих избавиться от повторяющихся файлов на жестком диске.

Спасибо за уделенное время на прочтение статьи!

Если возникли вопросы, задавайте их в комментариях.

Подписывайтесь на обновления нашего блога и оставайтесь в курсе новостей мира инфокоммуникаций!

Чтобы знать больше и выделяться знаниями среди толпы IT-шников, записывайтесь на курсы Cisco, курсы по кибербезопасности,  полный курс по кибербезопасности, курсы DevNet (программируемые сети) от Академии Cisco, курсы Linux от Linux Professional Institute на платформе SEDICOMM University (Университет СЭДИКОММ).