Niet alle dubbele bestanden zijn slecht

Ik wil het even gezegd hebben: over het algemeen zijn dubbele bestanden niet alleen goed; ze zijn zelfs essentieel. Windows zelf houdt al meerdere kopieën van belangrijke bestanden bij, en die moet je met rust laten. Hoewel het bijhouden van een desktop.ini bestand in iedere fotomap misschien redundant lijkt, ze staan daar wel voor een reden.

In het algemeen is het wel een goed idee on drie exemplaren van een belangrijk bestand te bewaren. Je hebt misschien wel gehoord van de 3-2-1 back-upregel: het is eigenlijk eenvoudig”

3 - bewaar tenminste drie exemplaren van je gegevens,
2 - sla 2 back-upkopieën op verschillende soorten opslagmedia op, en
1 - sla de back-up extern op, dwz. niet bij de andere back-ups.

En hoewel het allemaal basaal klinkt, het doorvoeren ervan kan nog wel eens moeilijk blijken.

Laten we aannemen dat je net al ik hebt geprobeerd om de 3-2-1-back-upregel aan te houden, en je bent het even vergeten en nu probeer je alles weer op de rails te krijgen. Dat betekent dat je veel meer kopieën hebt dan je daadwerkelijk nodig hebt, en dat je ze overal tegenkomt.

Ik zelf ontdekte gewoon meer potentiële dubbele mappen dan dat ik handmatig kon controleren. Ze stonden op meerdere schijven, een aantal intern, en andere weer extern. Sommige dubbelen waren restjes van toen ik een USB-stick leegmaakte om ze aan vrienden uit te lenen andere kwamen van een verwoede poging om gegevens van een defecte schijf te redden.

Dan was er ook nog een oude back-upmap met foto’s die ik had gesorteerd en later vergeten was. Ik kwam er ook achter dat ik diverse muziekcollecties had gered van diverse draagbare audiospelers voordat ze met pensioen gingen.

Dus, wat moet je doen?

Je doelen bepalen

Jouw specifieke situatie bepaalt de doelen voor het verwijderen van dubbele bestanden.

Als je bijna geen opslagruimte meer hebt, wil je je beperken tot grote bestanden: back-up containers, video’s, muziek en foto's - in aflopende volgorde. Office-documenten zijn over het algemeen te klein om een duit in het zakje te doen, zelfs foto’s en audiobestanden zijn het misschien niet eens waard om tijd aan te spenderen als je externe schijven vol zitten met oude systeemback-ups.

Als je een specifieker doel hebt, zoals het opzetten van een nette verzameling fotomappen of een overzichtelijke muziekcollectie, heb je andere prioriteiten: je gaat op zoek naar exacte duplicaten, maar ook naar kopieën van foto's met een lagere resolutie en oudere exemplaren van je favoriete albums met ene lagere kwaliteit die je tegenwoordig in veel betere en moderne versies kunt krijgen.

Hoe het ook zei, zorg dat je de juiste prioriteiten stelt voordat je aan de slag gaat. Het kan wel even duren, dus besteed je tijd goed. Er is niets zo frustrerend als stoppen met het verwijderen van dubbele bestanden omdat het een veel te saai klusje is, en dat je er dan over een paar maanden weer aan begint en nog maar een vaag idee had van wat je van plan was.

Ik begon met het maken van een lijstje met gedetailleerde beschrijving van wat ik van plan was: de interne harde schijf opruimen, en ruimte maken op de externe schijven... Om mee te beginnen. Naar mate ik vorderde, vinkte ik alles op de lijst af dat ik had gedaan. Dit gaf me het gevoel dat ik iets had bereikt, wat essentieel is om gemotiveerd te blijven. En ja, ik luisterde tegelijkertijd naar veel van min favoriete muziek om de saaiheid te verdrijven.

Enkele wijze woorden

Voordat je ook maar iets verwijderd, zorg dat je minimaal drie kopieën hebt van alles. Nee, echt. Als het nodig is, begin je gewoon met een volledige back-up op een lege externe schijf van alle bestanden die je van plan bent te analyseren.

Het volgende stukje advies is gebaseerd op bittere persoonlijke ervaringen.

Zorg dat je een kopie maakt van je gegevens: Verplaats nooit bestanden van de ene schijf naar de andere. Maak altijd eerst een kopie, en controleer of de gekopieerde bestanden identiek en allemaal aanwezig zijn voordat je de originelen weggooit. Waarom leg ik daar zo de nadruk op? Nou, eeeh ik had een gloednieuwe externe schijf die direct kwam te overlijden nadat ik mijn gehele onvervangbare audio-opnames erop had gezet... dat doe ik dus nooit meer.

Hulpprogramma's van Windows zoals FastCopy en TeraCopy vergelijken de controlesommen van de originelen en de kopieën nadat ze zijn overgezet. Je kunt de gekopieerde bestanden ook controleren met externe programma’s zoals Beyond Compare of WinMerge.

Kies je hulpmiddelen

Er bestaan programma's die dubbelen opsporen voor Linux, macOS en Windows Veel daarvan zijn gratis, andere zijn belachelijk duur.. Mijn aanbeveling is om er eerst een paar uit te proberen om te zien of de gratis opties geschikt zijn.

dupeGuru (Linux, macOS, Windows) is een veteraan onder de programma's voor ontdubbelen: De eerste versie kwam uit in 2004 – en zo ziet het er altijd nog uit. Er zijn drie gebruiksmodi: standaard, muziek en afbeeldingen. "Standaardmodus" vind binaire duplicaten, m.a.w. bestanden die overeenkomen in grootte en inhoud. "Muziekmodus" vergelijkt de labels van audiobestanden, waardoor het dubbele bestanden vind met dezelfde nummers in een ander audioformaat of met verschillende bitrates.

Hoewel de "afbeeldingsmodus" een fuzzy-zoekalgoritme heeft, bevat het geen geïntegreerde afbeeldingsweergave waarmee je direct potentiële duplicaten kunt vergelijken. Windows-gebruikers raad ik daarom aan om eens te kijken naar SimilarImages of VisiPics. Beide programma's zijn gratis.

Als je op jacht gaat naar dubbele bestanden in verschillende mappen of op verschillende schijven, zorg dan dat je een van die paden als de “referentie” markeert. Dit versnelt het verwijderingsproces omdat je app je ervan weerhoudt om bestanden te verwijderen uit het referentiepad. Als je zoekt naar duplicaten binnen dezelfde map, moet je alle paden op “normaal” zetten.

AllDup is alleen beschikbaar voor Windows. Het beschikt ook over fuzzy-methodes voor muziek en afbeeldingen en de interface is wat moderner. De interne afbeeldingsweergave is wat verborgen: je moet - Bestandvoorbeeld kiezen uit het menu Zoekresultaten om het te openen.

Similarity is gespecialiseerd in afbeeldings- en audiobestanden en is beschikbaar voor macOS en Windows. De basisfunctionaliteit is gratis, maar veel van de tijdsbesparende opties zijn alleen beschikbaar voor betalende klanten –waaronder de OpenCL acceleratie en automatische selectie van duplicaten. De premiumversie kost $20 voor het eerste jaar en verlenging kost $10.

Online vergelijkers van gratis ontdubbelaars beoordelen vaak alleen Auslogics Duplicate File Finder voor Windows. De interface van het programma ziet er vriendelijk uit, maar de functionaliteit is sterk beperkt: Het Auslogics-hulpprogramma vindt alleen binaire duplicaten. Daarnaast probeert het installatieprogramma gebruikers te overtuigen om “anonieme info” te delen telkens als Windows wordt gestart en probeert het twee andere apps te installeren. Het is eerder een uithangbord voor andere opties.

dupeGuru en AllDup werken redelijk voor kleine bestanden, maar de vergelijkingsalgoritmen en het geheugenbeheer gaat soms over z’n nek bij grotere bestanden, bijv. groter dan 1 GB. Ik besloot uiteindelijk een commercieel alternatief te gebruiken. Duplicate Cleaner kost eenmalig $39, biedt een duidelijke interface en detecteert correct binaire duplicaten, bijna dezelfde en vergelijkbare audio- en afbeeldingsbestanden. En het is ook nog eens zeer robuust bij grotere bestanden. Het enige nadeel is dat de gelocaliseerde versies slecht vertaald zijn. Je kunt beter de Engelse interface gebruiken.

Eenvoudig binaire bestanden eruit halen

Het vinden van binaire duplicaten is relatief makkelijk. In plaats van ieder bestand bit-voor-bit te vergelijken, berekent de app de controlesom van de inhoud van het bestand aan de hand van een hashing-algoritme. Het berekenen van de hashes duurt even - hoe groter het bestand, hoe langer dat 'even’.

De meeste ontdubbelaars gebruiken MD5- of SHA1-hashes, en hoewel beide standaards niet helemaal perfect zijn voor cryptografische doeleinden, zijn ze snel en goed genoeg voor het vergelijken van bestanden. Tenzij je redenen hebt om je druk te maken dat iemand met opzet de bestanden op je vaste schijf manipuleert om nepduplicaten te maken, is MD5 goed genoeg.

Voordat je een ontdubbelaar los laat op de analyse van he bestanden, moet je misschien even kijken hoeveel data je er van plan bent in te stoppen. Een snelle controle is, door als Windows-gebruiker de map te selecteren die je wilt analyseren met Windows Explorer en op Alt-Return te drukken , je ziet dan de “grootte” staan in het dialoogvenster van de eigenschappen.

Als je ontdubbelaar meer dan 500 GB data moet gaan verwerken, blijf dan niet achter de computer zitten om naar de voortgangsbalk te staren. Pak een kop koffie, kijk daarna nog een keer en reken uit hoeveel koffiepauzes je nog hebt voordat de software klaar is met het berekenen van de hashes. Misschien beslis je om dat moment dat de ontdubbelaar beter 's nachts aan de slag kan gaan en dat je de resultaten de volgende dag wel bekijkt.

Identificeren van dubbele muziek en afbeeldingen

Als je dacht dat binaire vergelijking wel even duurde, wacht maar tot je aan de slag gaat met afbeeldingen en muziek. Vergelijken van afbeeldingen kost veel meer computerresources dan een eenvoudige berekening van de controlesom. Daarom moet je waarschijnlijk maar gewoon beginnen met een binaire vergelijking (snelst) en daarna pas een vergelijking van afbeeldingen, met uitzondering van EXIF metadata (nog redelijk snel) en dan pas vergelijkbare (tijd voor koffie).

Het vergelijken van audio-bestanden is ongeveer hetzelfde: In Duplicate Clear Pro, kies ik eerst voor “Match exact audio data (ignore tags)” en vervolgens voor “Similar audio - compare full file) - hoewel deze modi even wat tijd kosten, bieden ze de meest betrouwbare resultaten. "Match audio tags only" werkt ook (instellingen op "Similar artist", "Same title" en "Similar album"), maar de resultaten hangen sterk af van hoe goed je muziekbibliotheken zijn gelabeld.

Digitale schoonmaak: lege mappen weggooien

De meeste digitale opruimers zijn best netjes, als ze bij het opruimen lege mappen krijgen, verwijderen ze die ook. Maar, bij geneste mappen blijft er nog wel eens wat staan.

De oplossing is gewoon een eenvoudig batchbestand of een speciale app. De app die mij beviel was de Windows freeware "Remove Empty Directories" die snel werkt en je de optie geeft om aan te geven welke mappen je wilt behouden.

Wat kun je doen om herhalingen te voorkomen?

Rigoureus verwijderen van duplicaten kan dagen in beslag nemen. Met grote binaire duplicaten, wordt het grootste deel van de tijd in beslag genomen door het vergelijken zelf. Bij het zoeken naar redundante afbeeldingen, spendeer je veel tijd aan het controleren of duplicaten onder de 90% echt weggegooid kunnen worden. Met audiobestanden kan het lang duren, maar mijn werkwijze voor het verwijderen is rechttoe rechtaan.

Mijn persoonlijke ontdubbelings-avontuur kostte me veel meer tijd dan ik had gedacht. Aan het einde had ik twee lege schijven van 4 TB. Aan het eind van mijn digitale schoonmaak, ontdekte ik ook dat drie externe schijven problemen begonnen te vertonen. Als ik dat niet op tijd had ontdekt, was ik waarschijnlijk een flink aantal belangrijke bestanden kwijtgeraakt.

Laat me in het commentaar weten, wat jij doet met dubbele bestanden. Heb je een andere strategie, die goed werkt voor jou? Welke programma's gebruik jij?