Video Duplicate Finder

Video Duplicate Finder — специализированная программа для поиска дублей видео и изображений по сходству содержимого. Она не ограничивается сравнением имени, размера или контрольной суммы файла: программа ищет похожие ролики даже при разном разрешении, другой частоте кадров и наличии водяного знака. Такой подход важен для видеотеки, где один и тот же ролик хранится в нескольких вариантах: исходник, сжатая копия, обрезанный фрагмент, экспорт из редактора, файл после пересылки через мессенджер, запись с изменённым контейнером или ролик с наложенным логотипом.

Главная задача Video Duplicate Finder — показать группы похожих файлов, чтобы пользователь мог сравнить их по миниатюре, пути, длительности, разрешению, размеру, формату, FPS, битрейту, аудиопараметрам и проценту сходства. Это не обычная утилита очистки диска, а инструмент для разбора медиаколлекций: папок с видеозаписями, архивов на внешнем диске, хранилищ NAS, рабочих каталогов монтажёра, скачанных клипов и наборов изображений. Для точного удаления дубликатов программа оставляет контроль за пользователем: найденные совпадения нужно просматривать, отмечать и удалять осознанно.

Video Duplicate Finder поддерживает Desktop GUI для Windows, Linux и macOS, командную строку для сценариев автоматизации, Web UI для удалённой работы и Docker-вариант для NAS или домашнего сервера. Для анализа медиафайлов используются FFmpeg и FFprobe; без них программа не сможет корректно извлекать техническую информацию, миниатюры и данные для сравнения.

Краткая карточка программы

Video Duplicate Finder полезен там, где обычный поиск дубликатов видео даёт слишком мало результатов. Две копии одного ролика могут иметь разные имена, расширения, размеры, разрешение, битрейт и частоту кадров. Файл после перекодирования в другой контейнер не совпадает побайтово с оригиналом, но остаётся тем же материалом для человека. Программа закрывает именно эту задачу: найти похожие видео на компьютере, показать степень совпадения и дать инструменты для ручного отбора лишних файлов.

Для смежных задач на freeexe можно использовать внутренние разделы и карточки программ: видео и аудио, мультимедийные редакторы, поиск файлов, Auslogics Duplicate File Finder, Duplicate Remover Free, CloneSpy, NoClone, SearchMyFiles, XMedia Recode, HandBrake, Format Factory, Any Video Converter, VLC media player и Media Player Classic HC.

Что делает Video Duplicate Finder

Программа сканирует выбранные папки, извлекает данные из медиафайлов, создаёт внутренние представления для сравнения и группирует похожие элементы. После сканирования пользователь видит не один общий список, а группы предполагаемых дублей. В каждой группе удобно сравнить миниатюры, путь к файлу, технические параметры и значение Similarity.

Главное отличие Video Duplicate Finder от классических утилит для поиска одинаковых файлов — устойчивость к изменениям медиа. Когда видеоролик был пересохранён, сжат, уменьшен, записан в другом формате или получил водяной знак, точный файловый хеш уже не совпадает. Video Duplicate Finder работает с похожестью содержимого и поэтому лучше подходит для очистки видеотеки от дублей, чем инструменты, рассчитанные только на полностью идентичные файлы.

Программа решает несколько практических задач:

• найти одинаковые видео, которые отличаются названием, форматом или размером;
• найти похожие видео на компьютере после перекодирования, повторной загрузки или экспорта;
• сравнить видеозаписи с разным разрешением и разной частотой кадров;
• найти изображения, которые визуально похожи, но не совпадают как файлы;
• обнаружить частичный клип внутри длинного видео через Partial Clip Detection;
• сохранить результаты сканирования и вернуться к ним позже;
• использовать CLI для регулярной проверки папок;
• запустить Web UI на сервере или NAS;
• развернуть Docker-контейнер с медиапапками, подключёнными только для чтения.

Video Duplicate Finder не принимает решение за пользователя. Даже при высоком проценте сходства нужно открыть группу, посмотреть миниатюры, путь, длительность, разрешение, размер и качество. Это особенно важно для медиатеки, где один и тот же ролик может существовать в вариантах 1080p и 4K, с разными дорожками звука, субтитрами или обрезанными сценами.

Как устроен поиск похожих видео

Обычные программы для поиска дублей часто начинают с простых признаков: имя, расширение, размер, дата изменения, точное содержимое файла. Такой метод хорош для полностью одинаковых копий, но плохо работает с медиа. Видеофайл можно перекодировать из MKV в MP4, уменьшить битрейт, изменить FPS, добавить заставку, обрезать конец или встроить водяной знак. Для файловой системы это уже другой объект, хотя зритель узнает тот же ролик.

Video Duplicate Finder ориентируется на сходство медиа. Программа поддерживает поиск похожих видео и изображений, работу с разным разрешением, разной частотой кадров и водяными знаками, а также дополнительное сравнение изображений через pHash.

На практике это даёт три важных преимущества.

Первое — программа подходит для коллекций, собранных из разных источников. Например, один файл был сохранён из камеры, второй получен после монтажа, третий пришёл из мессенджера, четвёртый скачан повторно. По размеру и имени они различаются, но Video Duplicate Finder способен объединить похожие варианты в одну группу.

Второе — пользователь видит не только факт совпадения, но и параметры, по которым можно принять решение. В результатах есть столбцы с путём, длительностью, разрешением, размером, форматом, FPS, битрейтом, аудиоданными и процентом Similarity. Это помогает оставить файл лучшего качества, а не просто самый новый или самый большой.

Третье — программа не ограничена видео. В настройках и CLI предусмотрено сканирование изображений; для фото и скриншотов можно подбирать другой порог сходства. Для скриншотов используется высокий порог Percent, потому что у таких изображений много совпадающих областей, а для фотографий людей и пейзажей критерий подбирается под конкретный материал.

Интерфейс Video Duplicate Finder

Главное окно Video Duplicate Finder построено вокруг трёх вкладок: Scanner, Settings и Log. Вкладка Scanner используется для запуска сканирования, повторной проверки базы, просмотра результатов, фильтрации, сортировки, экспорта, импорта и удаления отмеченных файлов. Settings отвечает за каталоги, исключения, параметры сравнения, обработку файлов, планировщик сканирования, внешний вид и сочетания клавиш. Log нужен для служебных сообщений.

В верхней панели вкладки Scanner расположены команды Scan, Rescan, Database, Latest Release, Export Scan Results, Import Scan Results, Selection, Delete Checked Items и Filter / Sort. Основная область занята таблицей результатов. Программа показывает группы дублей: у группы есть раскрывающаяся строка, а внутри размещены файлы-кандидаты.

В таблице используются столбцы:

Вкладка Settings устроена как вертикальное меню разделов. Для поиска дубликатов видео чаще всего используются Directories, Scanning, Files, Processing и Partial Clip Detection, когда нужно искать короткие фрагменты внутри длинных роликов. В Directories задаются папки для анализа и исключения, в Scanning — пороги сравнения, в Processing — параметры обработки, а в Partial Clip Detection — условия аудиоотпечатков и визуального подтверждения частичного совпадения.

Основные функции Video Duplicate Finder

Поиск дублей видео по содержимому

Основная функция программы — поиск дублей видео по содержимому. Это означает, что программа ориентируется на сходство материала, а не только на свойства файла. Такой подход нужен, когда один и тот же ролик лежит в нескольких форматах, был пересжат, получил другое разрешение или частоту кадров.

Сценарий типичен для больших видеотек: пользователь хранит исходный файл, экспорт из редактора, копию для телефона, копию из облака и версию, присланную другим человеком. В файловом менеджере эти элементы выглядят разными, но в Video Duplicate Finder попадают в одну группу похожих видео. Дальше остаётся выбрать, что сохранить: оригинал, наиболее качественный экспорт, самый маленький файл или версию из нужной папки.

Поиск похожих изображений

Video Duplicate Finder работает не только с видео, но и с изображениями. В CLI для этого предусмотрен параметр --include-images, а в описании возможностей программы указано сравнение видео и изображений на основе сходства. Отдельно поддерживается опциональное сравнение через pHash.

Для изображений важен другой подход к порогу. Скриншоты часто имеют большие одинаковые области интерфейса, поэтому им нужен более высокий Percent; фотографии людей, природы или предметов могут требовать более мягкого порога, чтобы программа предлагала похожие кадры для ручной проверки. Для скриншотов используется Percent 99%, а для фотографий людей и пейзажей — 97%, чтобы похожие снимки попадали в результаты.

Повторное сканирование и база ScannedFiles.db

После обработки файлов Video Duplicate Finder использует базу ScannedFiles.db. В Desktop GUI и Web UI она хранит данные сканирования, чтобы повторная проверка не начиналась полностью с нуля. Для Web UI база хранится рядом с исполняемым файлом, если каталог доступен для записи, либо в пользовательских путях %LOCALAPPDATA%\VDF\, ~/.local/state/VDF/ или ~/Library/Application Support/VDF/ в зависимости от операционной системы.

Практический смысл базы простой: большие медиатеки обрабатываются дольше, чем обычные папки документов. Когда программа уже получила данные по файлам, повторная проверка проходит быстрее, особенно если в коллекции изменилось не всё, а только несколько каталогов.

Экспорт и импорт результатов

В интерфейсе Scanner есть команды Export Scan Results и Import Scan Results. Они нужны для сохранения результатов и возвращения к ним позже. Такой сценарий полезен при больших архивах: пользователь может выполнить сканирование, сохранить результаты, закрыть программу, а затем продолжить разбор групп без повторного анализа всех файлов.

В CLI результаты можно выводить в text, json или csv, а также записывать в файл через --output. Для автоматизации это удобнее, чем ручной просмотр окна: JSON можно передать в собственный сценарий обработки, CSV — открыть в таблице, текстовый вывод — сохранить как отчёт.

Фильтрация, сортировка и ручной отбор

Кнопка Filter / Sort в окне результатов помогает управлять длинным списком совпадений. При большом количестве дублей важно не просто найти похожие файлы, а быстро добраться до групп, где экономия места максимальна или где сходство наиболее высокое.

Ручной отбор строится вокруг чекбоксов слева от файлов. Пользователь отмечает элементы, которые считает лишними, после чего использует Delete Checked Items. Для удаления файл отмечается чекбоксом слева, затем нажимается Delete Checked Items.

Partial Clip Detection

Partial Clip Detection — отдельная функция для поиска короткого фрагмента внутри длинного видео. Программа использует аудиоотпечатки, а затем по умолчанию подтверждает совпадение визуальным сравнением кадров в найденной позиции. Найденные пары попадают в список дублей, а столбец Clip Offset показывает, где начинается совпавший фрагмент в исходном видео.

Эта функция закрывает задачу, с которой обычный поиск похожих видео справляется хуже: короткий клип может быть не дублем всего файла, а сценой из фильма, отрывком из стрима, фрагментом длинной записи, вырезкой из лекции или сохранённым моментом из большого видеоархива.

CLI для автоматизации

Командная строка vdf-cli предназначена для сценариев, планировщика задач и серверов без графического интерфейса. Базовая команда выглядит так:

vdf-cli scan-and-compare --include /path/to/media

Для нескольких каталогов и сохранения результата в JSON используется такая структура:

vdf-cli scan-and-compare \

--include /mnt/movies \

--include /mnt/series \

--exclude /mnt/movies/extras \

--format json \

--output results.json

CLI поддерживает повторяемые --include и --exclude, порог --percent, количество потоков --parallelism, сканирование изображений --include-images, pHash через --use-phash, Partial Clip Detection через --partial-clip-detection, вывод json, text и csv, а также загрузку настроек из JSON-файла через --settings.

Web UI для удалённой работы

Web UI запускается как локальный веб-сервер и открывается в браузере. Он рассчитан на headless-машины, NAS и удалённое управление внутри локальной среды. При первом запуске генерируется пароль, который выводится в консоль; после входа cookie Remember me сохраняет авторизацию на 30 дней. В обычном запуске Web UI открывается по адресу http://localhost:5000, а порт можно изменить через ASPNETCORE_URLS.

Web UI защищён паролем, но предназначен для локального и Docker-использования. Его не следует публиковать в интернет. Это важное ограничение: интерфейс управляет медиапапками и результатами сканирования, поэтому доступ к нему должен оставаться внутри контролируемой сети.

Docker для NAS и домашнего сервера

Docker-вариант запускает Web UI в контейнере. В образ уже включён FFmpeg, поэтому отдельная установка FFmpeg внутри контейнера не требуется. Для медиапапок рекомендуется монтирование только для чтения через :ro; так можно анализировать видеотеку на NAS и снизить риск случайного изменения исходных файлов.

Пример запуска:

docker run -d \

--name vdf-web \

-p 8080:8080 \

-v vdf-db:/root/.config/VDF \

-v vdf-state:/root/.local/state/VDF \

-v /path/to/your/media:/media:ro \

ghcr.io/0x90d/vdf-web:latest

После запуска используется адрес http://localhost:8080, пароль смотрится через docker logs vdf-web, а внутри Web UI добавляется путь /media или другой путь, выбранный при монтировании. Для постоянной установки предусмотрен docker compose, отдельные тома для настроек и базы, а контейнерная сборка рассчитана на linux/amd64 и linux/arm64.

Настройки сканирования

Раздел Settings → Scanning отвечает за критерии, по которым программа определяет похожие файлы. Здесь не нужно менять всё подряд: для большинства задач важны несколько параметров, а остальные настраиваются после первых результатов.

Percent

Percent задаёт процент совпадающих элементов, при котором файлы считаются дублями. Чем выше значение, тем строже отбор. Для точного поиска одинаковых или почти одинаковых видео нужен высокий процент; для поиска похожих изображений, повторных экспортов и роликов с водяными знаками порог можно снижать, но это увеличивает количество кандидатов для ручной проверки.

Рекомендованный диапазон для видео — 90–95%. Для скриншотов используется пример с 99%, потому что в скриншотах часто совпадают большие области интерфейса.

Практическая логика такая:

Duration Difference

Duration Difference задаёт допустимую разницу длительности. Значение 0 означает, что будут учитываться только точные совпадения по длительности; диапазон 10–20% используется как ориентир для роликов, которые могли быть немного обрезаны или отличаться вступлением и концовкой.

Этот параметр особенно важен для видеозаписей, где один и тот же материал встречается в разных версиях. Например, один файл включает заставку, второй начинается сразу с основной части, третий обрезан на последних секундах. При слишком жёсткой длительности такие копии не попадут в одну группу. При слишком мягкой длительности возрастает риск, что рядом окажутся разные видео с похожими кадрами.

Max sampling duration

Max sampling duration определяет, какой участок видео анализируется. Значение 0 означает анализ всего видео, а ориентир 30 секунд используется как пример для ускорения обработки.

Для коротких роликов полный анализ не создаёт такой нагрузки, как для многочасовых записей. Для больших архивов ограничение выборки ускоряет сканирование, но требует аккуратности: если важные отличия находятся вне выбранного участка, результаты нужно проверять внимательнее.

Thumbnails

Thumbnails задаёт количество миниатюр. Миниатюры нужны не для красоты интерфейса, а для ручной проверки групп. Если программа нашла похожие видео, пользователь сразу видит кадры и может быстрее понять, что перед ним: точный дубль, другая версия, похожий эпизод или ошибочное совпадение.

Max Degree Of Parallelism

Max Degree Of Parallelism связан с параллельной обработкой. В CLI похожую роль выполняет --parallelism , где значение по умолчанию равно 1.

При работе с большим количеством файлов параллелизм влияет на загрузку процессора и диска. На слабом ноутбуке слишком агрессивная обработка мешает обычной работе. На рабочей станции или сервере можно выделить больше ресурсов, особенно если медиатека лежит на быстром SSD или сетевом хранилище с достаточной пропускной способностью.

Настройка папок и исключений

Перед запуском сканирования нужно определить, где искать дубликаты видео. Это делается в Settings → Directories. Раздел разделён на две области: Search Directories и Exclude Directories.

В Search Directories добавляются папки, которые программа будет анализировать. Добавление выполняется через Add или перетаскиванием папок в окно. В Exclude Directories задаются каталоги, которые нужно пропустить: кэши, временные папки, промежуточные экспорты, служебные каталоги видеоредакторов, папки с проектами, где нельзя ничего удалять.

Для исключений по шаблонам используется Add Pattern. В примере показан шаблон *.bk: пользователь нажимает Add Pattern, вводит маску и подтверждает через OK. В интерфейсе также указана поддержка подстановочных символов * и ?.

Для большой медиатеки лучше не добавлять сразу весь диск. Грамотнее разбить работу на понятные зоны:

• папка с загрузками;
• каталог с фильмами;
• каталог с сериалами;
• архив с видео с телефона;
• папка с экспортами из видеоредактора;
• внешний диск с резервными копиями;
• сетевой каталог NAS.

Так результаты будут проще проверять. Если смешать личные видео, рабочие исходники, экспортированные ролики, кэш программ и резервные копии, список дублей станет длиннее, а риск удалить нужную версию возрастёт.

Partial Clip Detection: поиск фрагмента внутри длинного видео

Partial Clip Detection ищет ситуацию, когда короткий ролик является частью длинного файла. Примеры: сцена из фильма, короткий фрагмент длинной записи, клип из стрима, сохранённый момент из лекции, отдельный эпизод из видеонаблюдения или вырезка из архива.

Обычное сравнение похожести хорошо работает с копиями одного ролика, но хуже подходит для отношения короткий фрагмент — длинный источник. Partial Clip Detection запускается как дополнительная фаза после обычного визуального сканирования. Кандидаты находятся по аудиоотпечаткам; затем включается визуальное подтверждение кадров в найденном смещении. В результатах появляется Clip Offset, который показывает позицию начала фрагмента в исходном видео.

В Settings → Partial Clip Detection используется несколько параметров:

Функция требует аудиодорожки в обоих файлах. Видео без аудио пропускаются. Это не недостаток интерфейса, а ограничение самого метода: кандидаты определяются через аудиоотпечатки.

Partial Clip Detection особенно полезен, когда медиатека содержит одновременно длинные записи и вырезанные куски. Например, пользователь хранит двухчасовой стрим и десять коротких клипов из него. Обычная очистка не должна считать эти файлы полностью взаимозаменяемыми: короткий фрагмент может быть отдельным рабочим материалом. Video Duplicate Finder показывает связь и смещение, а решение остаётся за пользователем.

Подготовка к запуску на Windows, Linux и macOS

Windows

Для Desktop GUI используется файл VDF.GUI.exe. FFmpeg и FFprobe должны быть доступны программе: ffmpeg.exe и ffprobe.exe размещаются в одной папке с VDF.GUI.exe, в подпапке bin или в системном PATH. При первом запуске Video Duplicate Finder пытается получить FFmpeg и FFprobe автоматически, но ручное размещение рядом с исполняемым файлом остаётся понятным способом подготовить среду.

Порядок действий без лишних деталей о месте получения программы:

• Распаковать архив GUI в отдельную папку.
• Убедиться, что рядом с VDF.GUI.exe доступны ffmpeg.exe и ffprobe.exe, либо что они находятся в PATH.
• Запустить VDF.GUI.exe.
• На первом экране настройки выбрать размер базы, например 32x32, и нажать Next.
• На экране добавления папок выбрать каталоги или нажать Skip, чтобы настроить их позже.
• После завершения настройки открыть Settings → Directories и добавить рабочие папки.

При первом запуске после VDF.GUI.exe появляется начальная настройка, затем экран добавления папок, после чего открывается главное окно.

Linux

Для Linux требуется FFmpeg. Команда установки в Debian/Ubuntu-среде:

sudo apt-get update && sudo apt-get install ffmpeg

После распаковки GUI-файлу задаётся право на запуск:

chmod +x VDF.GUI

./VDF.GUI

Архив Linux включает videoduplicatefinder.desktop и icon.png, поэтому программу можно добавить в меню приложений текущего пользователя. Для этого корректируются пути Exec= и Icon=, создаётся каталог ~/.local/share/applications, а файл .desktop копируется туда.

macOS

На macOS FFmpeg устанавливается через Homebrew:

brew install ffmpeg

В архиве находится Video Duplicate Finder.app. При блокировке неподписанного приложения используется запуск через контекстное меню: правый клик по .app, пункт Open, затем подтверждение. Если macOS продолжает блокировать запуск, применяются команды очистки quarantine-флага и ad-hoc-подписи:

xattr -cr "Video Duplicate Finder.app"

codesign --force --deep --sign - "Video Duplicate Finder.app"

Эти действия относятся именно к запуску приложения на macOS и не меняют логику работы Video Duplicate Finder.

Как найти дубликаты видео: пошаговая инструкция

Шаг 1. Открыть настройки каталогов

Работа начинается во вкладке Settings. В меню слева выбирается Directories. В область Search Directories добавляются папки для анализа. Если нужно исключить отдельные ветки, они добавляются в Exclude Directories.

Для первой проверки лучше взять одну папку, а не всю медиатеку. Например, каталог Downloads, папку с экспортами или внешний диск с копиями. Это позволит быстро понять, какой Percent подходит и насколько много групп показывает программа.

Шаг 2. Добавить исключения

Исключения нужны, чтобы не сканировать служебные каталоги и временные файлы. Видеоредакторы, загрузчики, облачные клиенты и медиаплееры могут создавать папки с кэшем, превью, резервными копиями и временными экспортами. Если включить их в проверку, список результатов станет шумным.

Через Add Pattern можно добавить маски имён. Пример *.bk исключает элементы с таким окончанием. Символ * заменяет произвольную часть имени, ? — один символ.

Шаг 3. Настроить критерии сканирования

Во вкладке Settings → Scanning задаются Percent, Duration Difference и Max sampling duration. Для первой проверки видео разумно начать со строгого порога, а затем снижать его, если программа пропускает ожидаемые копии. Для изображений порог зависит от типа материалов: скриншотам нужен более высокий процент, фотографиям — ручная проверка похожих кадров.

При больших файлах стоит учитывать Max sampling duration: полный анализ точнее, но занимает больше времени. Ограничение выборки ускоряет обработку, но требует более внимательного просмотра результатов.

Шаг 4. Запустить сканирование

После настройки нужно вернуться на вкладку Scanner и нажать Scan. На пустом экране программа показывает подсказку: Please start your first scan и предлагает нажать Scan на панели инструментов.

Во время сканирования программа обрабатывает выбранные каталоги и заполняет список групп. Скорость зависит от количества файлов, длительности видео, параметров выборки, диска, процессора, доступности FFmpeg и степени параллелизма.

Шаг 5. Просмотреть группы совпадений

Когда дубликаты видео на диске найдены, они появляются группами. В каждой группе отображаются миниатюры, пути и параметры. Не стоит удалять файлы только по Similarity: процент сходства — это сигнал для проверки, а не гарантия, что файл лишний.

Проверять группу удобно в таком порядке:

• Сначала посмотреть Thumbnail, чтобы убедиться в визуальном сходстве.
• Затем сравнить Path, чтобы понять происхождение файлов.
• Проверить длительность и разрешение в Dur / Res / Size / D.
• Сравнить формат, FPS и битрейт.
• Посмотреть аудиопараметры.
• Оценить Similarity.
• При Partial Clip Detection проверить Clip Offset.

Если один файл лежит в папке исходников, а второй — в папке экспорта, удалять нужно только после понимания задачи. Исходник может быть важнее готового ролика, даже если занимает больше места. В другом сценарии наоборот: пользователь хранит только финальные версии, а промежуточные файлы можно убрать.

Шаг 6. Отметить лишние элементы

Файлы отмечаются чекбоксами слева от строки. После отбора используется Delete Checked Items. В интерфейсе это отдельная команда на верхней панели, а не автоматическая очистка сразу после сканирования.

Лучше удалять небольшими партиями. После каждой партии стоит убедиться, что нужные файлы остались на месте. Для коллекции с важными исходниками перед очисткой нужна резервная копия или хотя бы режим работы, при котором удаление можно отменить средствами системы.

Как безопасно разбирать результаты

Video Duplicate Finder хорошо помогает найти похожие видео, но безопасная очистка зависит от правил отбора. Самая частая ошибка — считать, что файл с меньшим размером всегда хуже. Это неверно: меньший файл может быть итоговым экспортом с правильным монтажом, а больший — исходной записью с лишними дублями, шумом или техническими фрагментами.

Для медиатеки полезны такие критерии:

Для домашних архивов с видео с телефона разумно сохранять оригиналы, а удалять пересланные и повторно скачанные копии. Для фильмов и сериалов чаще выбирают версию с лучшим разрешением, стабильным звуком и корректной длительностью. Для рабочих проектов важнее структура папок: исходники, черновики, финальные рендеры и промежуточные файлы должны разбираться отдельно.

CLI: работа через командную строку

CLI в Video Duplicate Finder нужен не всем. Обычный пользователь чаще работает через Desktop GUI, а командная строка нужна для регулярных задач, серверов без дисплея, проверки NAS, отчётов и повторяемых сценариев.

Базовый запуск:

vdf-cli scan-and-compare --include /path/to/media

Проверка нескольких папок с исключением и сохранением результата:

vdf-cli scan-and-compare \

--include /mnt/movies \

--include /mnt/series \

--exclude /mnt/movies/extras \

--format csv \

--output duplicates.csv

Основные параметры CLI:

CLI также поддерживает автоматическую разметку и удаление через стратегии --action, но автоматическое удаление требует предварительной проверки через --dry-run, потому что постоянное удаление без просмотра результатов опасно.

Пример безопасной проверки:

vdf-cli scan-and-compare --include /mnt/media --action lowest-quality --dry-run

Пример перемещения дублей в корзину:

vdf-cli scan-and-compare --include /mnt/media --action lowest-quality --delete

Пример постоянного удаления:

vdf-cli scan-and-compare --include /mnt/media --action lowest-quality --delete-permanent

Стратегии автоматического выбора:

Для домашнего использования CLI стоит применять как инструмент отчётности: получить список, открыть результат, проверить группы и только затем выполнять удаление. Для сервера и NAS CLI удобен в планировщике, но правила исключений и медиапути нужно настроить особенно аккуратно.

Web UI и Docker

Web UI расширяет сценарии использования Video Duplicate Finder. Он нужен, когда программа работает не на основном компьютере, а на сервере, NAS или машине без монитора. Пользователь запускает веб-сервер, открывает интерфейс в браузере и управляет сканированием через локальный адрес.

Важные особенности Web UI:

• запускается как локальный веб-сервер;
• открывается в браузере;
• подходит для headless-машин и NAS;
• при первом запуске генерирует пароль;
• cookie Remember me сохраняет вход на 30 дней;
• вне Docker требует FFmpeg и FFprobe;
• не предназначен для публикации в интернет.

Для Docker-сценария удобнее держать настройки и базу в отдельных томах. В примере используются vdf-db для конфигурации и vdf-state для базы сканирования. Медиапапка подключается как /media:ro, то есть только для чтения.

Такой запуск хорошо подходит для NAS: медиатека остаётся на сервере, а пользователь подключается через браузер с рабочего компьютера. При этом важно не путать Web UI с публичным веб-сервисом. Его место — локальная сеть, VPN или защищённая внутренняя среда, а не открытый доступ из интернета.

Системные требования

Video Duplicate Finder состоит из нескольких вариантов запуска, поэтому требования зависят от сценария.

FFmpeg и FFprobe — обязательная часть практического использования программы. Desktop GUI и Web UI могут пытаться получить их автоматически при первом запуске, но для предсказуемой работы лучше понимать, где они находятся и доступны ли исполняемым файлам Video Duplicate Finder.

Поддерживаемые сценарии

Папка загрузок

В папке загрузок часто накапливаются повторные файлы: ролик был скачан дважды, переименован браузером, получен в другом формате или сохранён из разных источников. Video Duplicate Finder помогает найти одинаковые видео и похожие изображения, а затем удалить лишнее через ручной отбор.

Для такого сценария достаточно GUI: добавить Downloads, настроить строгий Percent, просмотреть группы, оставить более качественные или нужные версии.

Домашняя видеотека

Видеотека обычно содержит фильмы, сериалы, семейные записи, клипы, архивы с телефонов и материалы из облака. Здесь важны длительность, разрешение, звук и расположение файла. Программа помогает не только удалить дубликаты видео, но и понять, какие варианты одного материала хранятся в разных папках.

Для домашней видеотеки лучше сканировать разделами: фильмы отдельно, сериалы отдельно, личные записи отдельно. Это снижает риск ошибочного удаления.

NAS и домашний сервер

Для NAS удобны Web UI и Docker. Программа запускается рядом с медиатекой, а пользователь управляет поиском через браузер. Контейнер включает FFmpeg, поддерживает постоянные тома для настроек и базы, а медиапути можно подключать только для чтения.

NAS-сценарий особенно полезен, когда видеотека большая и гонять файлы по сети на рабочий компьютер неудобно. Сканирование выполняется на сервере, а результаты просматриваются удалённо.

Рабочие папки монтажёра

В видеомонтаже часто есть исходники, прокси, рендеры, финальные версии, фрагменты и пересобранные копии. Video Duplicate Finder помогает найти похожие видео, но не должен использоваться как автоматический чистильщик. Здесь важнее всего путь и контекст: исходник и финальный рендер могут выглядеть похожими, но выполнять разные роли.

Для рабочих проектов разумно исключать папки с активными проектами, а анализировать только архивные каталоги и папки с завершёнными экспортами.

Архивы с короткими клипами

Partial Clip Detection полезен в коллекциях, где есть длинные записи и короткие вырезки. Программа покажет связь через Clip Offset, но удалять короткий клип автоматически не стоит: он может быть самостоятельным фрагментом, подготовленным для публикации или быстрого доступа.

Коллекции изображений

Video Duplicate Finder можно использовать для поиска похожих изображений, особенно если в архиве есть скриншоты, повторные экспорты, картинки с разным размером или визуально близкие кадры. Но если задача касается только фотоархива, специализированные инструменты для изображений могут быть удобнее: например, на freeexe есть XnView, XnView MP, FastStone Image Viewer и раздел просмотрщики изображений.

Преимущества и ограничения

Плюсы:

• ищет похожие видео и изображения по содержимому;
• находит совпадения при разном разрешении, частоте кадров и водяных знаках;
• поддерживает Desktop GUI для Windows, Linux и macOS;
• есть CLI для сценариев автоматизации;
• есть Web UI для headless-машин, NAS и удалённого управления внутри локальной среды;
• есть Docker-вариант с включённым FFmpeg;
• поддерживает Partial Clip Detection для коротких фрагментов внутри длинных видео;
• показывает миниатюры, путь, длительность, разрешение, размер, формат, FPS, битрейт, аудиоданные, Similarity и Clip Offset;
• умеет экспортировать и импортировать результаты сканирования;
• CLI поддерживает вывод в json, text и csv;
• база ScannedFiles.db ускоряет повторную работу с уже обработанными файлами;
• лицензия AGPLv3 делает программу открытым проектом.

Минусы:

• для работы нужны FFmpeg и FFprobe;
• автоматическое удаление требует осторожности и предварительного --dry-run;
• Partial Clip Detection пропускает видео без аудиодорожки;
• Web UI нельзя открывать в интернет;
• Docker и CLI сложнее для новичка, чем обычное окно GUI;
• результаты нужно проверять вручную, особенно при разном качестве, длительности и расположении файлов;
• поиск похожих изображений есть, но программа в первую очередь интересна как инструмент для видеоархивов;
• при переходе между крупными ветками базы сканирования есть особенности миграции и пересчёта кэша изображений.

Отзывы пользователей и профильных изданий

GIGAZINE

GIGAZINE разбирает Video Duplicate Finder как бесплатный инструмент для поиска похожих видео и изображений, который способен находить дубли при разном разрешении, частоте кадров и водяных знаках. В материале показаны практические шаги: настройка папок в Settings → Directories, добавление исключений через Add Pattern, параметры Percent, Duration Difference, Max sampling duration, запуск через Scan, просмотр списка совпадений и удаление через Delete Checked Items.

Сильная сторона обзора GIGAZINE — внимание к конкретным настройкам. В статье не ограничиваются общим описанием: отдельно объясняются пороги для видео, скриншотов и фотографий, а также показывается, как выглядит результат после сканирования.

Reddit и сообщества владельцев больших архивов

В обсуждениях DataHoarder Video Duplicate Finder появляется как инструмент для больших медиаколлекций. Один из ранних постов описывает программу как способ искать дубликаты видео и изображений независимо от разрешения, размера, кодека и длины, а автор обсуждения приводит пример экономии более 2 ТБ места.

При этом оценки в пользовательских обсуждениях неоднородные. В другом обсуждении DataHoarder участник перечисляет несколько программ для поиска похожих видео и оценивает Video Duplicate Finder сдержанно: инструмент работает не во всех случаях одинаково успешно. Такой фон соответствует реальной природе задачи: поиск похожих видео сложнее, чем сравнение точных копий, а результат зависит от параметров, качества исходников, длительности, аудио и структуры коллекции.

Unraid и Docker-сценарии

В сообществе Unraid интерес к Video Duplicate Finder связан с контейнерным запуском. В обсуждении неофициального Docker-контейнера участник отмечает, что инструмент работает быстро и точно, а доступ к интерфейсу через браузер удобен для серверного использования. Этот отзыв относится к контейнерному сценарию, который близок владельцам NAS и домашних серверов.

Общий пользовательский профиль

У программы есть две аудитории. Первая — обычные пользователи, которым нужно удалить дубликаты видео из папки загрузок или с внешнего диска. Им подходит Desktop GUI, строгий Percent, ручной просмотр групп и осторожное удаление.

Вторая — опытные пользователи с большими архивами. Для них важны CLI, Web UI, Docker, сохранение результатов, повторное сканирование и работа с NAS. Именно эта аудитория чаще обсуждает Video Duplicate Finder в сообществах хранения данных, потому что обычные утилиты точного поиска дублей плохо справляются с перекодированными роликами.

Сравнение с аналогами

Video Duplicate Finder нужно сравнивать не с видеоредакторами и не с медиаплеерами, а с программами для поиска дублей и похожих медиа. Внутри freeexe для смежных задач есть Auslogics Duplicate File Finder, Duplicate Remover Free, CloneSpy, NoClone и SearchMyFiles, но поиск именно похожих видео по содержимому требует более специализированного подхода.

Video Comparer работает по сценарию выбора папок, запуска анализа, подтверждения дублей и очистки. В руководстве есть режимы сканирования, включая standard и thorough, где более тщательный режим требует больше времени на обработку отдельных видео.

Duplicate Cleaner Pro умеет искать дубликаты видео по кадрам или звуковой дорожке, а также сопоставлять метаданные. Это делает его сильным настольным решением для тех, кому нужна универсальная программа для разных типов файлов, но Video Duplicate Finder выигрывает там, где важны CLI, Web UI, Docker и Partial Clip Detection.

AllDup ориентирован на профессиональный поиск дублей на носителях и умеет сравнивать файлы по содержимому, свойствам и специальным признакам вроде похожих изображений и музыкальных треков. Он хорошо подходит для широкого файлового аудита, но Video Duplicate Finder точнее попадает в задачу поиска похожих видео, особенно при NAS-сценарии.

dupeGuru сравнивает файлы по именам и содержимому, поддерживает fuzzy matching для похожих имён и работает как GUI-инструмент. Это хороший вариант для общего поиска дублей, но не замена Video Duplicate Finder в медиатеке, где важны разные разрешения, перекодирование, водяные знаки, Clip Offset, CLI и Docker.

Czkawka интересен как быстрый многофункциональный инструмент: среди его возможностей есть поиск похожих изображений и похожих видео. Он конкурирует с Video Duplicate Finder в части очистки диска, но Video Duplicate Finder сильнее сфокусирован на медиасравнении, частичных клипах и серверных сценариях через Web UI и Docker.

AntiDupl.NET лучше рассматривать как альтернативу для изображений, а не для видео. Он ищет похожие и почти одинаковые картинки, поддерживает много графических форматов и умеет находить некоторые дефекты изображений. Для поиска дубликатов видео он не подходит.

Video Simili Duplicate Cleaner ближе всего по назначению к Video Duplicate Finder: программа сравнивает фактическое видеосодержимое независимо от формата и сжатия. Разница в сценариях: Video Duplicate Finder интересен не только GUI, но и CLI, Web UI, Docker, NAS и Partial Clip Detection.

Типичные ошибки при работе с Video Duplicate Finder

Слишком низкий Percent

Низкий Percent увеличивает количество найденных групп, но делает результаты менее чистыми. Для первой проверки лучше начать со строгого значения, посмотреть качество совпадений, а затем снижать порог только при необходимости.

Удаление без просмотра группы

Даже высокий Similarity не отменяет ручной проверки. Две версии могут отличаться звуком, разрешением, длительностью, субтитрами, обрезкой или назначением. Команда Delete Checked Items должна использоваться после просмотра, а не сразу после сканирования.

Сканирование всего диска без исключений

Добавление всего системного диска создаёт лишний шум. В результаты могут попасть кэши, временные файлы, служебные каталоги, рабочие проекты и резервные копии. Лучше задавать точные папки и исключения.

Отсутствие FFmpeg и FFprobe

FFmpeg и FFprobe нужны для анализа медиа. Если они недоступны, программа не сможет нормально обрабатывать видео. На Windows ffmpeg.exe и ffprobe.exe должны находиться рядом с VDF.GUI.exe, в bin или в PATH; для CLI действует то же требование к доступности рядом с vdf-cli или в PATH.

Непонимание Partial Clip Detection

Partial Clip Detection не ищет фрагменты в видео без аудио, потому что кандидаты определяются по аудиоотпечаткам. Если короткий клип без звука, а длинный источник со звуком, функция не сработает для этой пары.

Публикация Web UI наружу

Web UI защищён паролем, но предназначен для локального и Docker-использования. Открывать его в интернет нельзя. Для удалённого доступа лучше использовать защищённую локальную сеть или VPN, а не проброс порта наружу.

Автоматическое удаление через CLI без dry-run

CLI поддерживает --delete и --delete-permanent, но сначала нужно использовать --dry-run. Это особенно важно для стратегий вроде lowest-quality и smallest-file: автоматический критерий не знает, какой файл важен в конкретной коллекции.

Кому стоит выбрать Video Duplicate Finder

Video Duplicate Finder подходит пользователю, который хочет найти похожие видео на компьютере, а не только точные копии. Программа особенно полезна, когда в коллекции есть разные форматы, повторные экспорты, файлы после сжатия, записи с разным FPS, ролики с водяным знаком и частичные клипы.

Выбирать Video Duplicate Finder стоит в таких случаях:

• нужно очистить видеотеку от дублей;
• обычная программа для поиска дубликатов видео пропускает перекодированные копии;
• требуется сравнение видео по сходству, а не только по имени и размеру;
• нужно найти похожие изображения вместе с видеоматериалами;
• медиатека хранится на NAS;
• нужна командная строка для регулярной проверки;
• требуется Web UI для сервера без монитора;
• важна Docker-установка с медиапапками только для чтения;
• нужно искать короткий фрагмент внутри длинного видео.

Другой инструмент лучше выбрать, когда задача не связана с похожими видео. Для точных копий документов, архивов и установочных файлов хватит обычного duplicate finder. Для большого фотоархива можно взять специализированную программу для изображений. Для максимально простого коммерческого интерфейса без CLI и Docker подойдут настольные решения вроде Duplicate Cleaner Pro или Video Comparer. Для общего аудита файловой системы интересны AllDup, dupeGuru или Czkawka.

FAQ

Video Duplicate Finder ищет только видео?

Нет. Программа ищет дубли видео и изображений по сходству. В CLI для изображений используется параметр --include-images, а в возможностях указано сравнение видео и изображений.

Можно ли найти видео в разном разрешении?

Да. Video Duplicate Finder рассчитан на поиск дублей, которые отличаются разрешением, частотой кадров и даже водяным знаком.

Что означает Similarity?

Similarity показывает процент сходства найденных файлов внутри группы. Высокое значение помогает быстрее найти вероятные дубли, но не заменяет ручной просмотр миниатюр, длительности, разрешения, размера, пути и аудиопараметров.

Что означает Clip Offset?

Clip Offset используется при Partial Clip Detection. Он показывает, где в длинном видео начинается найденный короткий фрагмент.

Зачем нужны FFmpeg и FFprobe?

FFmpeg и FFprobe используются для работы с медиафайлами: извлечения данных, обработки и анализа. Они требуются для Desktop GUI, CLI и Web UI вне Docker; Docker-образ уже включает FFmpeg.

Можно ли запускать Video Duplicate Finder на NAS?

Да. Для NAS подходят Web UI и Docker. Web UI открывается в браузере, Docker-вариант позволяет подключать медиапапки как тома, а для каталогов с медиатекой рекомендуется режим только для чтения :ro.

Можно ли автоматически удалить дубликаты?

CLI поддерживает автоматические стратегии и удаление, но сначала нужно выполнять --dry-run. В GUI безопаснее отмечать файлы вручную и удалять через Delete Checked Items после просмотра группы.

Подходит ли программа для фотографий?

Да, Video Duplicate Finder умеет работать с изображениями, но для коллекций, состоящих только из фотографий, специализированные фотоинструменты могут быть удобнее. Для смешанных архивов с видео, скриншотами и изображениями Video Duplicate Finder закрывает обе задачи.

Можно ли сохранить результаты?

Да. В GUI есть Export Scan Results и Import Scan Results. В CLI доступны форматы json, text и csv, а запись в файл выполняется через --output.

Чем Video Duplicate Finder отличается от обычного поиска дублей?

Обычный поиск дублей часто работает по точному совпадению файла, имени, размеру или хешу. Video Duplicate Finder ищет похожие видео и изображения по содержимому, поэтому подходит для роликов с разным разрешением, FPS, водяными знаками и повторным кодированием.

Итог

Video Duplicate Finder лучше всего раскрывается в задачах, где нужно найти похожие видео, а не просто одинаковые файлы. Для разовой очистки папки загрузок достаточно Desktop GUI: добавить каталог, настроить Percent, запустить Scan, просмотреть группы и удалить отмеченные элементы через Delete Checked Items. Для большой видеотеки важны исключения, аккуратные пороги, анализ пути, длительности, разрешения и качества звука. Для NAS и домашнего сервера удобнее Web UI или Docker с медиапапками в режиме только для чтения. Для регулярной проверки подходит vdf-cli с сохранением результатов в JSON или CSV.

Программа требует внимательной настройки и ручной проверки, зато закрывает задачи, где обычный поиск дублей видео бессилен: разные форматы, пересжатые версии, отличающееся разрешение, изменённый FPS, водяные знаки, похожие изображения и короткие фрагменты внутри длинных роликов.