Men inte alla dubbletter är dåliga

Låt mig kort påpeka att dubbletter i allmänhet inte bara är bra att ha: de är även väsentliga. Windows själv behåller flera kopior av några viktiga filer, som du inte borde röra. Även om det kan verka överflödigt att ha en desktop.ini-fil i varje bildmapp, så tjänar de faktiskt ett syfte.

Det anses i allmänhet vara en bra idé att behålla tre kopior av varje fil som är viktig för dig. Du kanske har hört talas om säkerhetskopieringsregeln 3-2-1 – det är ganska enkelt:

3 – Spara minst tre kopior av dina data,
2 – lagra två säkerhetskopior på olika lagringsmedier och
1 – lagra en säkerhetskopia utanför webbplatsen, d.v.s. bort från andra säkerhetskopior.

Så enkelt som detta låter kan det vara svårt att göra i praktiken.

Låt oss anta att du är lite som jag och att du har försökt följa 3-2-1-säkerhetskopieringsregeln, att du sedan låter saker och ting ligga ett tag och nu försöker du komma in på rätt spår igen. Det betyder förmodligen att du har många fler kopior än vad du faktiskt behöver, och att de finns överallt.

Själv hade jag plötsligt fler potentiella dubblettmappar än jag kunde gå igenom för hand. De var spridda över flera enheter – några av dem interna, andra externa. Vissa dubbletter var rester från när jag tömde USB-enheter innan jag lånade ut dem till vänner, andra var resultat av ett desperat försök att rädda data från en defekt enhet.

Sedan fanns det en gammal säkerhetskopieringsmapp med foton som hade en kategorisering som jag inte längre använder. Jag hittade också tre ganska otympliga musiksamlingar som räddats från olika bärbara ljudspelare innan de gick i pension.

Så vad ska du göra ...?

Sätt dina mål

Din specifika situation kommer att sätta dina specifika mål för att bli av med dubbletter.

Om du börjar få slut på lagringsutrymme är det bra om du fokuserar på stora filer: behållare med säkerhetskopior, videor, musik och foton – i fallande ordning. Office-dokument är vanligtvis för små för att vara viktiga här. Även foton och ljudfiler kanske inte är värda att ägna tid åt när dina externa enheter är fyllda med gamla säkerhetskopior av systemet.

Om du har ett mer specifikt mål, som att få ordning på dina fotomappar eller din oorganiserade musiksamling, kommer dina prioriteringar att vara annorlunda: Du letar inte bara efter exakta kopior utan också efter kopior av foton med lägre upplösning samt äldre, sämre kopior av dina favoritalbum som du sedan har kodat om i ett modernare format.

Du måste hur som helst se till att få ordning på dina prioriteringar innan du börjar. Det kan ta ett tag, så det gäller att använda tiden väl. Få saker är mer frustrerande än att behöva sluta radera dubbletter eftersom det har blivit för jobbigt, och senare återvända till uppgiften ett par månader senare utan att veta exakt vad du ursprungligen ville göra.

Till slut skapade jag faktiskt en lista över mina specifika behov och mina mål: Innan jag kan rensa min interna magnetiska hårddisk måste jag frigöra utrymme på mina externa enheter, så jag börjar med ... Jag uppdaterade allteftersom listan och bockade av punkter som jag redan var klar med. Detta fick mig att känna som att jag gjorde framsteg, vilket är viktigt för att hålla sig motiverad. Och jag lyssnade förstås på en hel del av min favoritmusik för att göra slitgörat mer uthärdligt.

Ett par visdomens ord

Innan du börjar ta bort något, ska du se till att du faktiskt har tre kopior av allt. Nej, inte riktigt. Vid behov bör du skaffa en ny extern hårddisk för att säkerhetskopiera de data som du tänker analysera innan du fortsätter.

Följande råd är baserade på bittra personliga upplevelser.

Se till att du endast kopierar dina data: Flytta aldrig filer från en enhet till en annan. Kopiera alltid först, och kontrollera att de kopierade filerna verkligen är identiska och radera sedan originalen. Varför betonar jag den här punkten? Jag hade en gång oturen att en sprillans ny extern hårddisk dog direkt efter att jag hade flyttat några oersättliga ljudinspelningar till den ... så det gör jag aldrig igen.

Windows-verktyg som FastCopy och TeraCopy jämför kontrollsummorna för originalen och kopiorna efter överföring. Alternativt kan du verifiera kopierade filer med ett externt verktyg som Beyond Compare eller WinMerge.

Välj dina verktyg

Dubblettsökare finns tillgängliga för Linux, macOS och Windows. Många av dem är gratis, och vissa har helt galna priser. Jag rekommenderar att du först testar om gratisalternativen uppfyller dina behov.

dupeGuru (Linux, macOS, Windows) är en veteran bland de kostnadsfria dubblettsökarna: Programmet släpptes redan 2004 – och det syns. Det har tre driftlägen: standard, musik och bilder. "Standardläget” hittar binära dubbletter, d.v.s. filer som matchar varandras storlek och innehåll. "Musikläget” jämför ljudfilstaggar, och därigenom hittar du också dubblettlåtar kodade i olika format eller vid olika bithastigheter.

Även om ”bildläget” har en algoritm för partiella sökningar, så saknar den en integrerad bildvisare för att möjliggöra omedelbara jämförelser mellan potentiella dubbletter. Windows-användare kanske föredrar SimilarImages eller VisiPics istället. Båda verktygen är också gratis.

Om du letar efter dubbletter i en annan mapp eller på andra enheter, ska du se till att markera en av dina sökvägar som ”referens”. Detta kommer att påskynda borttagningsprocessen eftersom appen hindrar dig från att radera filer från referenssökvägen. Men om du letar efter dubbletter i samma katalog, ska du hålla alla sökvägar ”normala”.

AllDup är endast tillgängligt för Windows. Programmet har även partiella sökmetoder för musik och bilder och gränssnittet är lite modernare. Den interna bildförhandsgranskningen aningen undangömd: Du måste välja ”Filförhandsgranskning” från menyn Sökresultat för att öppna den.

Similarity specialiserar sig på bild- och ljudjämförelser och är tillgänglig för macOS och Windows. Grundläggande funktionalitet är gratis, men de flesta av de tidsbesparande funktionerna är reserverade för betalande kunder – inklusive OpenCL-acceleration och automatiskt dubblettval. Premiumversionen kostar 20 USD för det första året, och prenumerationsförnyelser kostar 10 USD.

Onlinejämförelser i kostnadsfria dubblettsökare nämner ofta Windows-exklusiva Auslogics Duplicate File Finder. Verktygets gränssnitt är trevligt, men dess funktionalitet är mycket begränsad: Auslogics-verktyget hittar bara exakta binära dubbletter. Dessutom försöker installationsprogrammet att få användare att dela ”anonym information”, ställa in appen så att den startas med Windows och installera ytterligare två appar. Sammantaget är det mestadels en anslagstavla.

dupeGuru och AllDup duger för mindre filer, men deras jämförelsealgoritmer och minneshantering kan få problem med stora filer, d.v.s. alla filer över 1 GB. Det slutade med att jag valde ett kommersiellt alternativ. Duplicate Cleaner kostar en engångsavgift på 39 USD, har ett enkelt gränssnitt och identifierar pålitligt binära dubbletter, nära matchningar och liknande ljud- och bildfiler. Det har också visat sig vara mycket robust vid hantering av stora filer. Den enda nackdelen är att dess tyska lokalisering är dålig – det är bättre att ändra användargränssnittet till engelska.

Gå igenom binära dubbletter utan problem

Det är relativt enkelt att hitta binära dubbletter. Istället för att jämföra varje fil bit för bit beräknar applikationen kontrollsummor för deras filinnehåll med hjälp av en hashingalgoritm. Det tar ett tag att beräkna dessa hashbilder – ju större filen är, desto längre tid tar det.

De flesta dubblettsökare använder MD5- eller SHA1-hash: Även om båda standarderna betraktas som ”defekta” för kryptografiska ändamål, så är de ändå snabba och tillräckligt bra för filjämförelser. MD5 duger gott och väl, såvida du inte är orolig för att någon medvetet ska manipulera filerna på din hårddisk för att skapa falska dubbletter.

Innan du låter en dubblettsökare analysera dina filer, kanske du vill kontrollera hur mycket data du matar den med. Windows-användare kan utföra en snabbkontroll genom att markera den mapp som ska analyseras i Windows Utforskaren, trycka på Alt+Retur och kontrollerar ”storlek”-posten i egenskapsdialogrutan.

Om din dubblettsökare ska behandla 500 GB data eller mer, är det ingen mening att sitta där och stirra på förloppsindikatorn: Gå och ta en kopp kaffe, kom tillbaka och fundera över hur många kaffepauser till som programvaran kommer att behöva för att beräkna dess hash-koder. Du kan till och med bestämma dig för att låta dubblettsökaren göra sitt över natten och kontrollera resultaten på morgonen.

Identifiera duplicerad musik och bilder

Om du tycker att det tar lång tid att göra en binär jämförelse, ska du bara vänta tills du börjar jämföra bilder och musik. Jämförelse av bilder kräver mycket mer datorresurser än enkla beräkningar av kontrollsumman. Det är därför du borde börja med en binär jämförelse (snabbast) och sedan prova en bildjämförelse exklusive EXIF-metadata (fortfarande ganska snabbt) och till sist beräkna likheter (kaffepaus).

Du kan jämföra ljudfiler på ett liknande sätt: I Duplicate Cleaner Pro väljer jag först ”Match exact audio data (ignore tags)” (Matcha exakta ljuddata (ignorera taggar)) och sedan fortsätter jag med ”Similar audio – Compare full file” (Liknande ljud – Jämför hela filen) – även om dessa lägen tar tid, så får du de mest tillförlitliga resultaten. ”Match audio tags only” (Matcha endast ljudetiketter) kan också fungera (ställ in "Liknande artist", ”Same title” (Samma titel) och ”Similar album” (Liknande album)), men resultaten beror helt på hur väl dina musikbibliotek är taggade.

Digital rengöring: eliminera tomma mappar

De flesta dubblettrensare försöker städa efter sig själva: Om det bara blir tomma undermappar efter borttagning av dubbletter, kommer de att erbjuda alternativet att ta bort de också. Men kapslade mappar leder ofta till rester.

Lösningen är antingen en enkel batchfil eller ett specialverktyg. Jag har blivit förtjust i gratisprogrammet ”Remove Empty Directories” för Windows som arbetar snabbt och ger möjlighet att vitlista mappar du kanske vill behålla.

Gör följande för att förhindra upprepningar

Det kan ta dagar att bli kvitt dubbletter. När det gäller stora binära dubbletter går det mesta av tiden åt till själva jämförelserna. Vid sökning efter överflödiga bilder går mycket tid åt till att dubbelkontrollera om dubbletter under tröskelvärdet på 90 % upptäcktes korrekt. Med ljudfiler kan jämförelserna ta lång tid, men eliminationsprocessen är ganska enkel.

Min personliga avdupliceringsresa blev mycket längre än vad jag hade förväntat mig. Det slutade med att jag fick två tomma hårddiskar på 4 TB. Under min digitala rengöring upptäckte jag också att tre externa enheter började sluta fungera ordentligt. Om jag inte hade upptäckt detta just i tid skulle jag förmodligen ha förlorat en del viktiga data.

Berätta gärna för mig i kommentarerna om hur ni hanterar era dubbletter. Har ni olika strategier som har fungerat för er? Vilka verktyg använder ni?