Файлова дедупликация с одитна следа: първо доказателство, после изтриване
Колекция от много файлове рядко е чиста: същият документ е на три места, понякога с друго име. Тук виждаш как да намериш дубликатите без да рискуваш нищо: евтин филтър по име и размер, хеш като доказателство, одобрение по групи и дневник, записан преди изтриването. Всичко е показано върху тестова папка с измислени файлове.
-d папка1 -d папка2); формата „-d папка1 папка2“ дава грешка „unexpected argument“ в тази версия (примерът в README на проекта още показва старата форма). Добавихме: измерено сравнение „име+размер срещу хеш“ — филтърът по име и размер пропусна истински дубликат с друго име и вкара файл със същото име и размер, но различно съдържание; кодовете на изход (11 при намерени дубликати, 0 с -W); пробно изтриване -Q и преместване в кошче -y; работещ пример „дневник преди изтриване“ (Python + SQLite). Махнахме: числото „2,8 млн. файла“, имената на мрежови дискове и вътрешни пътища, историята със свързването на телефон и всички имена на облачни папки — остана „типичен случай“.czkawka_cli 12.0.2 (естествена aarch64 компилация, а не x86-64 musl) · blake3 (pip) · sqlite3 (вграден). Модел: не се ползва. На тестови файлове по 200 KB: -s SIZE_NAME групира 3 файла, включително един с различно съдържание (фалшиво съвпадение); -s HASH -t BLAKE3 групира точно 3-те еднакви и изключва различния; cmp потвърди. Демото с blake3 и sqlite записа дневника ПРЕДИ изтриването, изтри 2-та реални дубликата и прескочи различния файл. Измерено: BLAKE3 върху 3 файла × 200 KB — под 0,5 s; демото — под 1 s. Без измервания на температура. Остава непроверено: SQL за PostgreSQL (дневникът е пуснат в SQLite), графичният интерфейс, -y (в кошче), -D върху реални данни, мрежови и облачни папки.01Какво ще научиш
- Защо еднакво име и размер са само кандидат, а еднакъв хеш е доказателство.
- Как да пуснеш
czkawka_cliбезопасно: правилният флаг-d, минимален размер, кодове на изход, пробно изтриване. - Как да подредиш базата (опис, кандидати) и инструмента (хеш-сканиране) — и защо ти трябват и двете.
- Как да пишеш одитна следа преди изтриването — и да видиш работещ пример.
- Правилният ред за хранилище без кошче: хеш → дневник → одобрение по група → премахване.
02Преди да започнеш
- Linux машина (например сървър от класа NVIDIA GB10), на която да пуснеш czkawka_cli (czkawka_cli е с лиценз MIT по README на проекта; има статичен „musl“ билд). В теста: версия 12.0.2.
- По избор PostgreSQL за опис на файловете и дневник; за пробата по-долу стига Python 3 с пакета
blake3и вграденият SQLite. - Тестова папка с измислени файлове — урокът не те моли да чистиш свои данни.
- Правилото „нищо не се трие без заявка“: примерите изтриват само тестови файлове; на истински данни започвай с
-Q(пробно) и с преместване в кошче.
03Стъпки
-
Две нива: кандидат и доказателство
Защо: хеширането на милиони файлове е скъпо, а име и размер се четат веднага. Затова работим на две нива: евтин филтър (име + размер) дава кандидати; идентичен хеш на съдържанието е единственото доказателство. Нека го видим върху тестова папка:
bashmkdir -p test/a test/b test/c head -c 200000 /dev/urandom > test/a/report.bin cp test/a/report.bin test/b/report.bin # истински дубликат cp test/a/report.bin test/b/copy_of_report.bin # истински дубликат, друго име head -c 200000 /dev/urandom > test/c/report.bin # същото име и размер, различно съдържаниеbash# czkawka_cli иска абсолютни пътища; <path> е папката, в която е "test" czkawka_cli dup -d <path>/test/a -d <path>/test/b -d <path>/test/c -m 1000 -s SIZE_NAME -H -Mtext-----------Files with same size and names----------- Found 2 files in 1 groups with same size and name(may have different content) Name - report.bin, 195.31 KiB - 3 files "<path>/test/a/report.bin" "<path>/test/b/report.bin" "<path>/test/c/report.bin"Czkawka сама предупреждава: „may have different content“. И наистина — в групата влезе
test/c/report.bin(различно съдържание), а пропусна истинския дубликатcopy_of_report.bin, защото името е друго. Сега хешът:bashczkawka_cli dup -d <path>/test/a -d <path>/test/b -d <path>/test/c -m 1000 -s HASH -t BLAKE3 -H -Mtext-----------Files with same hashes----------- Found 2 duplicated files which in 1 groups which takes 390.62 KiB. ---- Size 195.31 KiB (200000) - 3 files "<path>/test/a/report.bin" "<path>/test/b/copy_of_report.bin" "<path>/test/b/report.bin"Хешът направи точно обратното: махна файла с различно съдържание и намери преименувания дубликат. Флагът
-Hизключва кеша на хешовете — за чист тест; при истинска работа кешът ускорява повторните сканирания. Резултатът: име и размер никога не са основание за изтриване. -
Защо BLAKE3 — и кога да провериш още веднъж
По подразбиране czkawka хешира с BLAKE3 (
-t BLAKE3). Според помощта на инструмента той е „бърз и сигурен“, докато CRC32 е по-бърз, но по-малко надежден, а XXH3 е много бърз, но не е криптографски. За решение за изтриване ползвай BLAKE3. Два различни файла на практика не дават еднакъв BLAKE3 хеш — затова идентичният хеш е доказателство, а не преценка. Когато изтриването е необратимо, добави и ръчна проверка байт по байт със стандартнияcmp(връща 0 при идентични файлове):bashcmp -s test/a/report.bin test/b/report.bin && echo identical cmp -s test/a/report.bin test/c/report.bin || echo differentПри нас:
identicalиdifferent. -
База данни и инструмент: защо и двете
Не се конкурират. Базата е паметта: пази какво имаш и — ако я поддържаш така — какво си махнал. czkawka_cli е бързият хеш-скенер; той не пази история на изтриванията. Графичният интерфейс (GTK или Krokiet) е за ръчен преглед и изтриване от човек.
Инструмент Роля Помни ли история на изтриванията? PostgreSQL (по избор) Опис, кандидати, одитна следа Да — ако пишеш в deletion_logczkawka_cli Хеш-скан в мащаб; изход в текст/JSON Не Графичен интерфейс Ръчно решение на човека Не Кандидатите от опис на файловете (таблица
files_inventoryе примерна — твоята ще е друга):sql-- ниво 1: евтини кандидати по име + размер (таблица с опис на файловете, която вече имаш) select basename, size, count(*) as copies, pg_size_pretty(size * (count(*) - 1)) as wasted from files_inventory where not is_noise group by basename, size having count(*) > 1 order by size * (count(*) - 1) desc limit 100;⚠️ Заявката не е пускана срещу PostgreSQL.
-
Хеш-скан с czkawka_cli
Командата за скан на няколко папки с доказателство по хеш:
bashczkawka_cli dup -d <folder-1> -d <folder-2> \ -m 102400 -s HASH -t BLAKE3 \ -f dups.txt -C dups.json -W -MКакво значи всеки флаг (помощта на czkawka_cli 12.0.2; измерено там, където е отбелязано):
Флаг Значение -dПапка за търсене; всяка папка е отделен -d. Измерено:-d a -d bработи,-d a b→ „unexpected argument“. Пътищата са абсолютни.-mМинимален размер в байтове (по подразбиране 8192) — по-голяма стойност ускорява сканирането. -s HASH -t BLAKE3Метод по хеш на цялото съдържание (по подразбиране); BLAKE3 е типът по подразбиране. -f/-CЗапис на резултата в четим текстов файл / в компактен JSON. -WНе връща код на грешка при намерени дубликати. Измерено: без -Wкодът на изход беше 11, с-W— 0. Важно за скриптове.-M/-NЗаглушава съобщенията / не печата резултатите в конзолата. -e/-XИзключва папка / не слиза във файлови системи на други дялове (полезно за монтирани мрежови дискове). Не са пускани. -D-Q-y-Dизбира какво да се трие (по подразбиране NONE — нищо не се трие);-Qе пробно изпълнение;-yпремества в кошчето на системата вместо да трие.Измерихме и пробното изтриване:
-D AEO -Qне премахна нито един файл от тестовата папка. На истински данни винаги започвай с-Q. -
Одитната следа: пиши, после трий
Всяко изтриване се записва преди да се извърши: какво, кога, колко голямо, кой хеш, защо, с какво. Така можеш да докажеш, че копие е съществувало и защо е махнато — разликата между чистене и заличаване. Таблица за PostgreSQL (не е пускана):
sqlcreate table if not exists deletion_log( ts timestamptz not null default now(), source text, path text not null, size bigint, hash text, -- BLAKE3 of the content reason text, -- e.g. 'duplicate of <kept path>' tool text -- czkawka | sql | manual );А ето цялата логика в работещ пример — Python със SQLite (пуснат в sandbox върху тестовата папка от стъпка 1). Хешът се смята наново и за двата файла, редът се записва и се запазва с
commit, и чак тогава файлът се премахва:pythonimport os, sqlite3, time from blake3 import blake3 # pip install blake3 def digest(path): h = blake3() with open(path, "rb") as f: for chunk in iter(lambda: f.read(1 << 20), b""): h.update(chunk) return h.hexdigest() db = sqlite3.connect("deletion_log.db") db.execute("create table if not exists deletion_log(ts text, path text, size integer, hash text, reason text, tool text)") def remove_duplicate(keep, victim, tool="script"): hk, hv = digest(keep), digest(victim) # 1. доказателство: нов хеш и на двата файла if hk != hv or os.path.getsize(keep) != os.path.getsize(victim): print("SKIP (not identical):", victim) return db.execute("insert into deletion_log values (?,?,?,?,?,?)", (time.strftime("%Y-%m-%dT%H:%M:%S"), victim, os.path.getsize(victim), hv, "duplicate of " + keep, tool)) db.commit() # 2. редът в дневника се записва ПРЕДИ премахването os.remove(victim) # 3. чак сега файлът се премахва print("REMOVED:", victim) remove_duplicate("test/a/report.bin", "test/b/copy_of_report.bin") remove_duplicate("test/a/report.bin", "test/c/report.bin") # същото име и размер, различно съдържание for path, size, reason in db.execute("select path, size, reason from deletion_log"): print("logged:", path, size, reason)textREMOVED: test/b/copy_of_report.bin SKIP (not identical): test/c/report.bin logged: test/b/copy_of_report.bin 200000 duplicate of test/a/report.binФайлът с различно съдържание беше пропуснат, а за премахнатия има ред в дневника. Правило: ако изтриването се провали, имаш запис; ако успее — имаш доказателство. Никога обратният ред.
-
Редът за хранилище без кошче
Не всички изтривания са равни. Някои хранилища (например мрежови дискове без кошче и без моментни снимки) нямат връщане — изтриването е окончателно. За тях редът е: 1) кандидати → 2) потвърждение по хеш (и по желание
cmp) → 3) решаваш коя версия остава → 4) запис в дневника → 5) одобрение от човек по всяка група → 6) премахване; най-добре първо преместване в карантинна папка и чак по-късно окончателно триене. Монтирай за запис само когато стигнеш стъпка 6.🛑Не сканирай облачни папки „само онлайн“Програмите за облачна синхронизация обикновено свалят файла, когато го прочетеш — а хеширането чете цялото съдържание. Изключи такива папки със-eи от опис. ⚠️ Общо поведение, не е проверявано тук.
04Проверка
- Кандидатите идват от име + размер, а идентичността — от хеш (BLAKE3), не от име.
- Папките се подават с повторен
-d; зададен е минимален размер-m. - Знаеш защо
-Wпроменя кода на изход и какво прави-Q. - Всяко премахване има ред в
deletion_log, записан преди него. - При необратимо хранилище има одобрение по група и ред „хеш → дневник → одобрение → премахване“.
Тест
1. Еднакво име и еднакъв размер доказват ли, че два файла са дубликати?
2. Как се подават две папки на czkawka_cli dup (12.0.2)?
3. Кога се записва редът в дневника на изтриванията?
4. Защо при хранилище без кошче е по-строго?
05Какво следва
06Източници
- Czkawka · GitHub (издание 12.0.2) и czkawka_cli README — използване, лиценз MIT; точните флагове са от
czkawka_cli dup --helpна 12.0.2. - BLAKE3 — криптографска хеш функция.
- PostgreSQL · pg_size_pretty и GROUP BY / HAVING.
- Python · sqlite3 · пакетът blake3 · cmp.