Современные программы поиска дубликатов файлов

Федеральное государственное бюджетное образовательное учреждение

высшего профессионального образования

Уфимский государственный нефтяной технический университет

 

 

 

Факультет автоматизации производственных процессов

 

 

Кафедра вычислительной техники и инженерной кибернетики

 

 

 

 

 

 

 

 

 

Реферат на тему:

 

Современные программы поиска дубликатов файлов

 

 

 

 

студента группы БАЭ-13-01:

Начарова Р.А.

 

 

Преподаватель:

А.А. Габдуллина

 

 

 

 

 

 

 

Уфа, 2014

 

Оглавление

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ВВЕДЕНИЕ

 

           На смену проблеме: "Где хранить данные" пришла новая проблема - "Как во всем этом разобраться?" Объемы современных жестких дисков достигли того, что на них вполне может случайно затеряться с десяток DVD-образов, не говоря уже о сотнях фотографий. Вы можете не замечать ненужных и повторяющихся файлов вплоть до того момента, когда место вдруг неожиданно закончится. Но перед тем как покупать новый жесткий диск, имеет смысл почистить старый на предмет дубликатов. Возможно, после генеральной уборки проблема свободного места уже не будет стоять так остро. Искать повторяющиеся файлы вручную - это долго и неудобно. Гораздо проще воспользоваться одной из специальных утилит, которые выполняют большую часть работы за вас. Если вы готовы к ревизии жесткого диска, осталось только подобрать подходящий инструмент.

         Дубликат файла - это копия, какого - либо файла, который находится на компьютере в другой директории - папке, диске и имеет такое же название, расширение и "вес" как и его оригинал.  Даже если вы специально не дублировали файлы, на случай утраты, системных сбоев или с другой целью - они все равно есть практически на каждом компьютере. Вы спросите, откуда берутся дубликаты? Все очень просто, например вы скачали с интернета два альбома песен одного исполнителя, зачастую песни в сборниках повторяются, т.е. одинаковые. Также обычно бывает с фотографиями - в разных папках одинаковые фото. Со временем дубликатов файлов становиться больше и они занимают место на жестком диске компьютера или флешке. Удалив эти бесполезные, повторяющиеся файлы - можно увеличить и иногда значительно, свободное место на жестких дисках ПК.

 

 

 

DUPLICATE FILE FINDER

 

Вы не сможете понять, как много дублирующихся файлов, после загрузки файлов из Интернета или повторяющиеся файлы разбросаны по вашей домашней или корпоративной сети. Дубликаты файлов, как правило, отходы и их нет нужды держать, тратя ценное место на жёстком диске. Ваши жёсткие диски могут быть полны документов, Itunes, IPod, MP3, фото и видео, и многие из них являются избыточными.

Duplicate File Finder [1] - это бесплатный инструмент, предназначенный для поиска и удаления дубликатов файлов на домашних компьютерах и в корпоративных сетях, если нет никакого программного обеспечения для поиска дубликатов файлов, установленного на другом компьютере. Быстрый поиск байт в байт и CRC32 и их сравнение, даёт наиболее точные результаты поиска дубликатов и поиска файлов вне зависимости от содержания файла. Список найденных одинаковых файлов может быть отсортирован, экспортирован, и к нему можно принять соответствующие меры. Поиск сессии, включая результаты, может быть сохранён. Повторяющиеся файлы можно удалять, перемещать или копировать. Пример работы с данной программой представлен на рисунке 1.

Почему полезен поиск дубликатов файлов    

Удаление                       Рис.1 Duplicate File Finder

    

 

         Существует несколько простых шагов для поиска и удаления дубликатов файлов. Рассмотрим Шаг 1. Для этого выберите поисковую машину, которая будет использоваться для поиска дубликатов файлов. Поисковая система определяет средства, с помощью которых Duplicate  Finder сравнивает файлы, чтобы определить являются ли они дублирующими друг друга. Выберите поиск Byte by Byte – побайтно,  если вы хотите, чтобы найти  100% одинаковые файлы – рекомендуется. Эта операция представлена на рисунке 2.

 

                                                 Рис. 2 Шаг 1

 

Следующий шаг 2. Нажмите на кнопку Add Path – Добавить путь  и добавьте столько папок / дисков, как вам нравится для поиска дубликатов файлов (рисунки 3 и 4).

                       

 

 

Рис.3 Шаг 2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Рис.4 Шаг 2 (продолжение)

   

Для поиска предопределенных типов файлов, нажмите кнопку со списком файлов по маске и выберите один из вариантов. Выберите нужный диапазон размеров файла, если вы хотите ограничить поиск размера файла. Пропуск файлов меньшего размера улучшит скорость поиска.

 

Рис.5 Exclusions(исключения)

 

Любые папки или нет? Типы файлов, перечисленные в разделе исключений, будут игнорироваться во время сканирования (рисунок 5). Вы можете защитить все файлы, найденные в определенных папках поиска, от случайного удаления. Файлы в папках Proctected будут отмечены желтым цветом в списке результатов (рисунок 6). Теперь нажмите кнопку  “Начать поиск” (показано на рисунке 7), чтобы начать поиск, программа начинает искать дубликаты файлов. Это может занять некоторое время, в зависимости от вашей системы и от количества файлов в выбранных папках. Кроме того, некоторые алгоритмы поиска более трудоемкие, чем другие. Вы можете просто свернуть программу и запустить её в фоновом режиме.

              Рис. 6 Protect Folders

 

                Рис.7 Поиск

 

Шаг 3. После завершения поиска, вы должны проанализировать результаты поиска для проверки, если они являются дубликатами при просмотре изображений, открывая файлы и папки и просматривая  свойств файла (операция приведена на рисунке 8).

 

                     Рис.8 Список дубликатов файлов

 

Это список всех дубликатов файлов, найденный с помощью поисковых критериев. Вы можете просмотреть список, экспортировать его в текстовый / XML / HTML форматы. И, самое главное, вы можете выбрать, какие файлы нужны для обработки и либо удалить их или переместить. Можно просмотреть все файлы и проверить дублирующиеся файлы вручную, но в  Duplicate Finder есть функция “Easy Marking – Маркировка”, чтобы отметить все старые версии дублирующихся файлов. Выберите  Action > Easy Marking > Mark All Duplicates  – Действия> Easy маркировки >Отметить все дубликаты.

Совет: предыдущие выбранные файлы, остаются по-прежнему выбранными после использования этой функции. Mark All Duplicates (на рисунке 9) – Отметить все дубликаты  - Выбирает все файлы, за исключением последних, в каждой Duplicate Group (в зависимости от времени модификации файла). Mark All In Selected Folders – Отметить всё в выбранных папках  - например, если вы сравнивали 2 папки, а теперь хотите удалить дубликаты из второй папки, затем просто использовать эту функцию, чтобы выбрать нужные файлы. Mark All In Selected Folders and Sub-Folders – Отметить всё в выбранных папках и вложенных папках  – по аналогии с предыдущей опцией, но применимо к ветви подкаталогов. Duplicate Finder позволяет воздействовать на заметные дубликаты файлов несколькими способами. Каждая из этих функций доступна либо с помощью панели инструментов приложения или через меню списка результатов.

                                  Рис. 9 Mark All Duplicates

 

Delete - Удаление - Эта функция позволяет удалить дубликаты файлов. Вы можете удалить дубликаты постоянно или переместить их в Корзину.

Move -  Переместить - Эта функция позволяет переместить дубликаты файлов в указанную папку. Copy - Копировать - эта функция позволяет копировать одинаковые файлы в указанную папку. Rename - Переименовать - Эта функция позволяет переименовать дубликаты файлов. Выходной список включает в себя как оригинальные файлы, так  и дубликаты! Вы должны быть осторожны при удалении или перемещении файлов.

 

 

 

 

 

 

 

 

 

 

 

DUPKILLER

 

Также одной из программ для работы с дубликатами файлов является DupKiller (рисунок 10), которая вполне может дать фору многим коммерческим аналогам. Утилита имеет достаточно удобный и, к тому же, русский интерфейс и может похвастаться гибкими настройками поиска дубликатов. Кроме стандартных возможностей сравнения файлов по названию, размеру, дате создания и типу тут можно найти интересную возможность сравнения по содержимому. При этом пользователь может определить, откуда нужно начинать сравнивать файлы – с начала или с конца, а также указать, при каком проценте "схожести" их можно считать одинаковыми. Также стоит обратить внимание на возможность поиска файлов с похожими названиями. Выбрав эту функцию, можно определить, насколько файлы должны отличаться по названию, чтобы программа восприняла их как дубликаты [2].

 

                                        Рис. 10 DupKiller

 

Исключения тоже гибко настраиваются: можно указать минимальный и максимальный размер файлов для поиска, указать допустимые атрибуты для файлов и папок, а также расширения файлов и папки, которые должны быть исключены из поиска. DupKiller может искать дубликаты не только на жестких дисках, но и на виртуальных, RAM- и CD/DVD-дисках. Очень удобно, что для каждого носителя выводится его общий размер, а также количество свободного места в гигабайтах и процентах. После удаления ненужных файлов вы сможете сравнить результаты и оценить, насколько программа оказалась полезной. С ее помощью вы также можете определить, какие файлы уже были скопированы на DVD, и потому могут быть безболезненно удалены с винчестера. Во время сканирования программа ведет подробный лог операций и сообщает, какое действие выполняет в данный момент. После завершения операции выводится окно с сообщением о том, сколько времени было потрачено на поиск, сколько найдено повторяющихся файлов, и какой размер они занимают на жестком диске. Окно представлено на рисунке 11.

 

Рис. 11 Результат сканирования

 

Список найденных дубликатов достаточно нагляден: файлы разбиваются на группы, которые визуально отделены друг от друга. Щелчок по файлу открывает окошко предварительного просмотра. Просмотр доступен для многих графических файлов, а также для всех текстовых (рисунок 12) А подключив плагин, который входит в поставку DupKiller, но по умолчанию выключен, можно, не покидая программу, выполнять прослушивание аудио файлов.

 

Рис.12 Дубликаты

 

Возможности работы со списком дубликатов тоже на высоте: есть кнопки для быстрого удаления выделенных и помеченных файлов, автоматическое выделение файлов по ряду признаков. Параметры удаления настраиваются отдельно – можно переносить файлы в «Корзину» или удалять их безвозвратно.

 

 

 

 

 

 

 

 

 

 

NOCLONE

 

 

 Английский NoClone (рисунок 13) – это, пожалуй, самая известная программа для поиска дубликатов, и ее популярность вполне объяснима. Ее не очень симпатичный внешний вид с лихвой компенсируется большим числом функций. Программа может выполнять побайтовое сравнение файлов, находить одинаковые файлы MP3 по ID3-тегам, а также производить поиск в почте на предмет одинаковых писем. При помощи NoClone можно находить не только повторяющиеся файлы, но и делать выборку по определенному критерию, например, выводить список всех файлов, размер которых превышает 500 Мб, или всех файлов, которые были изменены в течение указанного промежутка времени.

 

Рис.13 Программа NoClone

 

Если вы регулярно делаете резервное копирование, а также выполняете синхронизацию данных между двумя компьютерами, у вас неизменно скапливается большое число версий одних и тех же файлов. Благодаря функции поиска похожих файлов (Similar Files), NoClone позволяет найти и удалить их. В настройках программы можно определить, на сколько процентов файлы должны быть похожи, чтобы NoClone показала их в списке дубликатов. Список с найденными дубликатами достаточно нагляден: в нем можно увидеть название, размер, расположение и дату файла. Очень продуманна функция предварительного просмотра изображений – если в других программах картинки показываются в небольшом всплывающем окошке, которое появляется при выборе графического файла в списке, тут есть специальная панель предпросмотра. На ней можно отобразить несколько файлов одновременно, что и представлено на рисунке 14.

 

Рис.14 Найденные дубликаты в NoClone.

 

Разобраться со списком дубликатов поможет инструмент Smart Marker. C его помощью можно выделить найденные файлы по таким критериям, как размер, дата, название, количество символов в имени, расположение. Кроме этого, есть специальные флажки "оставлять как минимум один невыделенный файл в группе" и "выделить файлы в каждой группе". Еще одна особенность NoClone обнаруживается, когда дело доходит до удаления файлов. Кроме стандартных способов удаления – помещения дубликатов в  

корзину и полного удаления – в программе есть еще один интересный вариант: замена файла NTFS-ссылкой. Иными словами, программа оставляет на жестком диске только один файл, а вместо всех копий создает ссылки, которые ведут на него. Это может быть очень полезно, когда найденные при помощи NoClone дубликаты используются другими приложениями, например, если речь идет о библиотеке виртуальных дисков в программе Alcohol. Если вы удалите файл (рисунок 15), то при запуске таких приложений можете получать сообщения об ошибках. Если же будет создана NTFS-ссылка, программа будет "видеть" файл по старому адресу, а фактически его там не будет [2].

 

  Рис.15 Процедура удаления дубликата

 

ЗАКЛЮЧЕНИЕ

 

Какими бы удобными не были программы для поиска повторяющихся файлов, стоит помнить, что доверять им на все 100 процентов не стоит. Начинать работу с такими утилитами лучше на свежую голову и, набравшись терпения, ведь то, что программа может посчитать дубликатом, на самом деле может оказаться ценным файлом, который существует в единственном экземпляре. С другой стороны, при соответствующем подходе и аккуратном обращении, каждая из описанных выше программ может стать хорошим помощником в выполнении нелегкой задачи – генеральной уборки на жестких дисках. Подобных программ существует много, я рассказал о наиболее известных.