Знакът на КАГАМИ КАГАМИ
kagami.bg/academy · lesson · machine-readable viewUPDATED 2026-10-03 · TESTED 2026-10-03 on a GB10 (czkawka_cli aarch64; SQL not run on PostgreSQL)
IDENTITY
module
GX10-A5 · File deduplication with an audit trail
series
GX10 (local AI server class: NVIDIA GB10, e.g. ASUS Ascent GX10 / DGX Spark)
level
Advanced
duration
~30 min
prerequisites
A Linux machine, czkawka_cli (tested: 12.0.2 musl build, x86-64), Python 3 with the blake3 package, optionally PostgreSQL; a TEST folder
trust_label
TESTED 2026-10-03 on a GB10 (GX10, aarch64) · czkawka_cli 12.0.2 (native aarch64), blake3, sqlite3 · SIZE_NAME gave a false positive, HASH/BLAKE3 grouped exactly the 3 identical files; 2 real duplicates removed after logging; BLAKE3 under 0.5 s · the PostgreSQL SQL was NOT run (the log demo ran in SQLite); GUI, -y, -D on real data, network and cloud folders not run
language
human view: bg · english edition: /en/academy/gx10/ (same file name)
previous / next
GX10-A4 safe one-way sync / GX10-A9 Cyrillic encoding trap
PURPOSE

Find duplicate files without risking data: cheap name+size candidates, BLAKE3 content hash as the only proof, per-group human approval and an audit log written before every removal. Demonstrated on an invented test folder.

KEY CONCEPTS
COMMANDS / PATHS
CHECKLIST
NEXT MODULE

GX10-A9 -> GX10_A9_Kirilica_Encoding_Trap.html · series index: kagami.bg/academy/gx10/ · offer: Quick experiment (kagami.bg/stalbata/)

SOURCES
TAGS
gx10dedupblake3czkawkaaudit-logpostgresqlsafe-deletion
ТЕСТВАНО · 03.10.2026 ОБНОВЕНО · 03.10.2026

Файлова дедупликация с одитна следа: първо доказателство, после изтриване

Колекция от много файлове рядко е чиста: същият документ е на три места, понякога с друго име. Тук виждаш как да намериш дубликатите без да рискуваш нищо: евтин филтър по име и размер, хеш като доказателство, одобрение по групи и дневник, записан преди изтриването. Всичко е показано върху тестова папка с измислени файлове.

⏱ ~30 мин Напреднало GX10 czkawka_cli (на сървъра) PostgreSQL · Python (на сървъра)
czkawka_cli · Python (на сървъра)🔒 локално PostgreSQL (по избор, за опис и дневник)🔒 локално
🔄
ОБНОВЕНО · 03.10.2026 — какво
Урокът е преработен в общ урок и е сверен със czkawka 12.0.2 (издадена 09.09.2026) — нея пуснахме наистина в Linux sandbox върху тестова папка. Потвърдено при тест: две папки се подават с повторен флаг (-d папка1 -d папка2); формата „-d папка1 папка2“ дава грешка „unexpected argument“ в тази версия (примерът в README на проекта още показва старата форма). Добавихме: измерено сравнение „име+размер срещу хеш“ — филтърът по име и размер пропусна истински дубликат с друго име и вкара файл със същото име и размер, но различно съдържание; кодовете на изход (11 при намерени дубликати, 0 с -W); пробно изтриване -Q и преместване в кошче -y; работещ пример „дневник преди изтриване“ (Python + SQLite). Махнахме: числото „2,8 млн. файла“, имената на мрежови дискове и вътрешни пътища, историята със свързването на телефон и всички имена на облачни папки — остана „типичен случай“.
🧪
Какво пуснахме на GB10
03.10.2026 · пуснато на GB10 (GX10, aarch64) от Клодет · czkawka_cli 12.0.2 (естествена aarch64 компилация, а не x86-64 musl) · blake3 (pip) · sqlite3 (вграден). Модел: не се ползва. На тестови файлове по 200 KB: -s SIZE_NAME групира 3 файла, включително един с различно съдържание (фалшиво съвпадение); -s HASH -t BLAKE3 групира точно 3-те еднакви и изключва различния; cmp потвърди. Демото с blake3 и sqlite записа дневника ПРЕДИ изтриването, изтри 2-та реални дубликата и прескочи различния файл. Измерено: BLAKE3 върху 3 файла × 200 KB — под 0,5 s; демото — под 1 s. Без измервания на температура. Остава непроверено: SQL за PostgreSQL (дневникът е пуснат в SQLite), графичният интерфейс, -y (в кошче), -D върху реални данни, мрежови и облачни папки.

01Какво ще научиш

02Преди да започнеш

03Стъпки

  1. Две нива: кандидат и доказателство

    Защо: хеширането на милиони файлове е скъпо, а име и размер се четат веднага. Затова работим на две нива: евтин филтър (име + размер) дава кандидати; идентичен хеш на съдържанието е единственото доказателство. Нека го видим върху тестова папка:

    bash
    mkdir -p test/a test/b test/c
    head -c 200000 /dev/urandom > test/a/report.bin
    cp test/a/report.bin test/b/report.bin            # истински дубликат
    cp test/a/report.bin test/b/copy_of_report.bin    # истински дубликат, друго име
    head -c 200000 /dev/urandom > test/c/report.bin   # същото име и размер, различно съдържание
    bash
    # czkawka_cli иска абсолютни пътища; <path> е папката, в която е "test"
    czkawka_cli dup -d <path>/test/a -d <path>/test/b -d <path>/test/c -m 1000 -s SIZE_NAME -H -M
    text
    -----------Files with same size and names-----------
    Found 2 files in 1 groups with same size and name(may have different content)
    Name - report.bin, 195.31 KiB - 3 files
    "<path>/test/a/report.bin"
    "<path>/test/b/report.bin"
    "<path>/test/c/report.bin"

    Czkawka сама предупреждава: „may have different content“. И наистина — в групата влезе test/c/report.bin (различно съдържание), а пропусна истинския дубликат copy_of_report.bin, защото името е друго. Сега хешът:

    bash
    czkawka_cli dup -d <path>/test/a -d <path>/test/b -d <path>/test/c -m 1000 -s HASH -t BLAKE3 -H -M
    text
    -----------Files with same hashes-----------
    Found 2 duplicated files which in 1 groups which takes 390.62 KiB.
    
    ---- Size 195.31 KiB (200000) - 3 files
    "<path>/test/a/report.bin"
    "<path>/test/b/copy_of_report.bin"
    "<path>/test/b/report.bin"

    Хешът направи точно обратното: махна файла с различно съдържание и намери преименувания дубликат. Флагът -H изключва кеша на хешовете — за чист тест; при истинска работа кешът ускорява повторните сканирания. Резултатът: име и размер никога не са основание за изтриване.

  2. Защо BLAKE3 — и кога да провериш още веднъж

    По подразбиране czkawka хешира с BLAKE3 (-t BLAKE3). Според помощта на инструмента той е „бърз и сигурен“, докато CRC32 е по-бърз, но по-малко надежден, а XXH3 е много бърз, но не е криптографски. За решение за изтриване ползвай BLAKE3. Два различни файла на практика не дават еднакъв BLAKE3 хеш — затова идентичният хеш е доказателство, а не преценка. Когато изтриването е необратимо, добави и ръчна проверка байт по байт със стандартния cmp (връща 0 при идентични файлове):

    bash
    cmp -s test/a/report.bin test/b/report.bin && echo identical
    cmp -s test/a/report.bin test/c/report.bin || echo different

    При нас: identical и different.

  3. База данни и инструмент: защо и двете

    Не се конкурират. Базата е паметта: пази какво имаш и — ако я поддържаш така — какво си махнал. czkawka_cli е бързият хеш-скенер; той не пази история на изтриванията. Графичният интерфейс (GTK или Krokiet) е за ръчен преглед и изтриване от човек.

    ИнструментРоляПомни ли история на изтриванията?
    PostgreSQL (по избор)Опис, кандидати, одитна следаДа — ако пишеш в deletion_log
    czkawka_cliХеш-скан в мащаб; изход в текст/JSONНе
    Графичен интерфейсРъчно решение на човекаНе

    Кандидатите от опис на файловете (таблица files_inventory е примерна — твоята ще е друга):

    sql
    -- ниво 1: евтини кандидати по име + размер (таблица с опис на файловете, която вече имаш)
    select basename, size, count(*) as copies,
           pg_size_pretty(size * (count(*) - 1)) as wasted
    from files_inventory
    where not is_noise
    group by basename, size
    having count(*) > 1
    order by size * (count(*) - 1) desc
    limit 100;

    ⚠️ Заявката не е пускана срещу PostgreSQL.

  4. Хеш-скан с czkawka_cli

    Командата за скан на няколко папки с доказателство по хеш:

    bash
    czkawka_cli dup -d <folder-1> -d <folder-2> \
      -m 102400 -s HASH -t BLAKE3 \
      -f dups.txt -C dups.json -W -M

    Какво значи всеки флаг (помощта на czkawka_cli 12.0.2; измерено там, където е отбелязано):

    ФлагЗначение
    -dПапка за търсене; всяка папка е отделен -d. Измерено: -d a -d b работи, -d a b → „unexpected argument“. Пътищата са абсолютни.
    -mМинимален размер в байтове (по подразбиране 8192) — по-голяма стойност ускорява сканирането.
    -s HASH -t BLAKE3Метод по хеш на цялото съдържание (по подразбиране); BLAKE3 е типът по подразбиране.
    -f / -CЗапис на резултата в четим текстов файл / в компактен JSON.
    -WНе връща код на грешка при намерени дубликати. Измерено: без -W кодът на изход беше 11, с -W — 0. Важно за скриптове.
    -M / -NЗаглушава съобщенията / не печата резултатите в конзолата.
    -e / -XИзключва папка / не слиза във файлови системи на други дялове (полезно за монтирани мрежови дискове). Не са пускани.
    -D -Q -y-D избира какво да се трие (по подразбиране NONE — нищо не се трие); -Q е пробно изпълнение; -y премества в кошчето на системата вместо да трие.

    Измерихме и пробното изтриване: -D AEO -Q не премахна нито един файл от тестовата папка. На истински данни винаги започвай с -Q.

  5. Одитната следа: пиши, после трий

    Всяко изтриване се записва преди да се извърши: какво, кога, колко голямо, кой хеш, защо, с какво. Така можеш да докажеш, че копие е съществувало и защо е махнато — разликата между чистене и заличаване. Таблица за PostgreSQL (не е пускана):

    sql
    create table if not exists deletion_log(
      ts     timestamptz not null default now(),
      source text,
      path   text not null,
      size   bigint,
      hash   text,          -- BLAKE3 of the content
      reason text,          -- e.g. 'duplicate of <kept path>'
      tool   text           -- czkawka | sql | manual
    );

    А ето цялата логика в работещ пример — Python със SQLite (пуснат в sandbox върху тестовата папка от стъпка 1). Хешът се смята наново и за двата файла, редът се записва и се запазва с commit, и чак тогава файлът се премахва:

    python
    import os, sqlite3, time
    from blake3 import blake3        # pip install blake3
    
    def digest(path):
        h = blake3()
        with open(path, "rb") as f:
            for chunk in iter(lambda: f.read(1 << 20), b""):
                h.update(chunk)
        return h.hexdigest()
    
    db = sqlite3.connect("deletion_log.db")
    db.execute("create table if not exists deletion_log(ts text, path text, size integer, hash text, reason text, tool text)")
    
    def remove_duplicate(keep, victim, tool="script"):
        hk, hv = digest(keep), digest(victim)             # 1. доказателство: нов хеш и на двата файла
        if hk != hv or os.path.getsize(keep) != os.path.getsize(victim):
            print("SKIP (not identical):", victim)
            return
        db.execute("insert into deletion_log values (?,?,?,?,?,?)",
                   (time.strftime("%Y-%m-%dT%H:%M:%S"), victim, os.path.getsize(victim), hv, "duplicate of " + keep, tool))
        db.commit()                                       # 2. редът в дневника се записва ПРЕДИ премахването
        os.remove(victim)                                 # 3. чак сега файлът се премахва
        print("REMOVED:", victim)
    
    remove_duplicate("test/a/report.bin", "test/b/copy_of_report.bin")
    remove_duplicate("test/a/report.bin", "test/c/report.bin")   # същото име и размер, различно съдържание
    for path, size, reason in db.execute("select path, size, reason from deletion_log"):
        print("logged:", path, size, reason)
    text
    REMOVED: test/b/copy_of_report.bin
    SKIP (not identical): test/c/report.bin
    logged: test/b/copy_of_report.bin 200000 duplicate of test/a/report.bin

    Файлът с различно съдържание беше пропуснат, а за премахнатия има ред в дневника. Правило: ако изтриването се провали, имаш запис; ако успее — имаш доказателство. Никога обратният ред.

  6. Редът за хранилище без кошче

    Не всички изтривания са равни. Някои хранилища (например мрежови дискове без кошче и без моментни снимки) нямат връщане — изтриването е окончателно. За тях редът е: 1) кандидати → 2) потвърждение по хеш (и по желание cmp) → 3) решаваш коя версия остава → 4) запис в дневника → 5) одобрение от човек по всяка група → 6) премахване; най-добре първо преместване в карантинна папка и чак по-късно окончателно триене. Монтирай за запис само когато стигнеш стъпка 6.

    🛑
    Не сканирай облачни папки „само онлайн“
    Програмите за облачна синхронизация обикновено свалят файла, когато го прочетеш — а хеширането чете цялото съдържание. Изключи такива папки със -e и от опис. ⚠️ Общо поведение, не е проверявано тук.

04Проверка

Тест

1. Еднакво име и еднакъв размер доказват ли, че два файла са дубликати?

2. Как се подават две папки на czkawka_cli dup (12.0.2)?

3. Кога се записва редът в дневника на изтриванията?

4. Защо при хранилище без кошче е по-строго?

05Какво следва

06Източници

  1. Czkawka · GitHub (издание 12.0.2) и czkawka_cli README — използване, лиценз MIT; точните флагове са от czkawka_cli dup --help на 12.0.2.
  2. BLAKE3 — криптографска хеш функция.
  3. PostgreSQL · pg_size_pretty и GROUP BY / HAVING.
  4. Python · sqlite3 · пакетът blake3 · cmp.