Search found 38 matches

by sdfgdhfgh
03 Feb 2023, 14:46
Forum: AllDup (English)
Topic: Slow hash-based duplicate detection
Replies: 7
Views: 10684

Re: Slow hash-based duplicate detection

So why not use a list and update the internal more complex data structure only every x minutes? This way a) reading/hashing and internal data organization can overlap in time. b) the reorganization of the complex data structure is less often, which should save a lot of computing time c) only about 1...
by sdfgdhfgh
01 Feb 2023, 15:57
Forum: AllDup (English)
Topic: Slow hash-based duplicate detection
Replies: 7
Views: 10684

Re: Slow hash-based duplicate detection

Wouldn't it be useful to not sort/compare the list for every new hash added?
Maybe it would be useful to have an option that you do only sort/compare the lists every X minutes (or at the end or user request/abort) ?
(not every x files, because that may be quite a long time depending on the file sizes)
by sdfgdhfgh
01 Feb 2023, 14:28
Forum: AllDup (English)
Topic: [Feature] Speed up checksum comparison with newer hashing methods
Replies: 2
Views: 1418

Re: [Feature] Speed up checksum comparison with newer hashing methods

I would appreciate a lot if you would add blake3 or better XXH3 (Czkawka has those), as those would bring a 10x speed improvement: Just to align expectations: Just because your hash is 10x faster it does not mean that the comparison is faster. You cannot get comparison time lower than disk read time.
by sdfgdhfgh
01 Feb 2023, 14:23
Forum: AllDup (English)
Topic: Slow hash-based duplicate detection
Replies: 7
Views: 10684

Slow hash-based duplicate detection

Hi, I have a folder of 1.1 Mio Files with 2.4 TB. I used Alldup checking for content duplicates using SHA1 for 48h and it is at 44%. It adds only 1 or 2 new hashed per second now and has 27 billion comparisons done. I paused AllDup and started creating checksums of all those files, which took less t...
by sdfgdhfgh
08 Jun 2021, 17:37
Forum: AllDup (Deutsch)
Topic: Verbesserungsvorschläge bzgl Durchsuchen von Archiven (Archive rekursiv durchsuchen und mehr)
Replies: 4
Views: 8947

Re: Verbesserungsvorschläge bzgl Durchsuchen von Archiven (Archive rekursiv durchsuchen und mehr)

Danke für die Rückmeldung. Wäre da nicht eine Warnung sinnvoll unter dem Reiter "Archivdateien" in Richtung: "Die Extraktion der Formate x y und z kann aus technischen Gründen nur single-threaded erfolgen. Werden größere Archivbestände durchsucht empfielt sich das Entpacken in ein tem...
by sdfgdhfgh
08 Jun 2021, 15:07
Forum: AllDup (Deutsch)
Topic: Optimierungsvorschlag Prüfsummenmethoden
Replies: 5
Views: 12295

Re: Optimierungsvorschlag Prüfsummenmethoden

Auch heir wäre eine Rückmeldung dazu schön.
by sdfgdhfgh
08 Jun 2021, 14:59
Forum: AllDup (Deutsch)
Topic: Optimierung der direkten Dateivergleiche
Replies: 0
Views: 29889

Optimierung der direkten Dateivergleiche

Alldup hat ja bereits die clevere Option, zuerst den letzten Block zweier Dateien zu vergleichen. Ich denke, man kann den Dateivergleich noch weiter verbessern: Man speichert einen ordentlichen Hash (etwa SHA1) der ersten Vergleichsblöcke (Einstellungsabhängig eben der erste oder letzte Block einer ...
by sdfgdhfgh
19 Nov 2020, 14:33
Forum: AllDup (Deutsch)
Topic: Verbesserungsvorschläge bzgl Durchsuchen von Archiven (Archive rekursiv durchsuchen und mehr)
Replies: 4
Views: 8947

Verbesserungsvorschläge bzgl Durchsuchen von Archiven (Archive rekursiv durchsuchen und mehr)

Mit einem gezielten Test habe ich heute festgestellt, dass Alldup nur die erste Ebene von Archiven entpackt, also nicht Archive in Archiven. Sinnvoll fände ich, wenn Alldup dies auch tun würde. Idealer Weise würde dies passieren, sobald alle notwendigen subarchive entpackt sind - und nicht etwa erst...
by sdfgdhfgh
01 Dec 2018, 07:20
Forum: AllDup (Deutsch)
Topic: Filter negieren (z.B. selber Inhalt aber Zeitstempel ungleic
Replies: 4
Views: 10663

Re: Filter negieren (z.B. selber Inhalt aber Zeitstempel ung

Eigentlich ging es mir im wesentlichen darum, sagen zu können, dass eine Bedingung - besonders die Änderungszeit - eben nicht identisch sein soll.
by sdfgdhfgh
21 Sep 2018, 13:38
Forum: AllDup (Deutsch)
Topic: Optimierungsvorschlag Prüfsummenmethoden
Replies: 5
Views: 12295

Re: Optimierungsvorschlag Prüfsummenmethoden

Disclaimer: Alle Äußerungen nach bestem Wissen basierend auf technischem Verständnis und Jahrelanger Nutzung von AllDup. Ich bin kein Entwickler von AllDup und mag mich gerade bzgl der konkreten Implementierung Irren. In diesem Fall bitte ich um Korrektur durch den Administrator. Zur Kombination has...
by sdfgdhfgh
21 Sep 2018, 12:59
Forum: AllDup (Deutsch)
Topic: Prüfsummen verschiedener Laufwerke optional parallelisieren
Replies: 2
Views: 10609

Prüfsummen verschiedener Laufwerke optional parallelisieren

Mir ist aufgefallen, dass die Prüfsummen sequentiell berechnet werden, also erst Datei A dann Datei B. Das verschenkt viel Leistung, wenn verschiedene Laufwerke abgeglichen werden. Ich verstehe, warum das so implementiert ist - wenn sich die logischen Laufwerke auf der physisch selben HDD befinden, ...
by sdfgdhfgh
03 May 2018, 11:32
Forum: AllDup (Deutsch)
Topic: GUI-Fehler?
Replies: 2
Views: 5269

Re: GUI-Fehler?

Das ist kein Bug? Warum ist denn eine solche Kombination nicht möglich?!
Daswäre ja nützlich um zB die zahl unnötiger Inhaltsvergleiche zu reduzieren.