Search found 38 matches
- 03 Feb 2023, 14:46
- Forum: AllDup (English)
- Topic: Slow hash-based duplicate detection
- Replies: 7
- Views: 15914
Re: Slow hash-based duplicate detection
So why not use a list and update the internal more complex data structure only every x minutes? This way a) reading/hashing and internal data organization can overlap in time. b) the reorganization of the complex data structure is less often, which should save a lot of computing time c) only about 1...
- 01 Feb 2023, 15:57
- Forum: AllDup (English)
- Topic: Slow hash-based duplicate detection
- Replies: 7
- Views: 15914
Re: Slow hash-based duplicate detection
Wouldn't it be useful to not sort/compare the list for every new hash added?
Maybe it would be useful to have an option that you do only sort/compare the lists every X minutes (or at the end or user request/abort) ?
(not every x files, because that may be quite a long time depending on the file sizes)
Maybe it would be useful to have an option that you do only sort/compare the lists every X minutes (or at the end or user request/abort) ?
(not every x files, because that may be quite a long time depending on the file sizes)
- 01 Feb 2023, 14:28
- Forum: AllDup (English)
- Topic: [Feature] Speed up checksum comparison with newer hashing methods
- Replies: 2
- Views: 1949
Re: [Feature] Speed up checksum comparison with newer hashing methods
I would appreciate a lot if you would add blake3 or better XXH3 (Czkawka has those), as those would bring a 10x speed improvement: Just to align expectations: Just because your hash is 10x faster it does not mean that the comparison is faster. You cannot get comparison time lower than disk read time.
- 01 Feb 2023, 14:23
- Forum: AllDup (English)
- Topic: Slow hash-based duplicate detection
- Replies: 7
- Views: 15914
Slow hash-based duplicate detection
Hi, I have a folder of 1.1 Mio Files with 2.4 TB. I used Alldup checking for content duplicates using SHA1 for 48h and it is at 44%. It adds only 1 or 2 new hashed per second now and has 27 billion comparisons done. I paused AllDup and started creating checksums of all those files, which took less t...
- 08 Jun 2021, 17:37
- Forum: AllDup (Deutsch)
- Topic: Verbesserungsvorschläge bzgl Durchsuchen von Archiven (Archive rekursiv durchsuchen und mehr)
- Replies: 4
- Views: 9577
Re: Verbesserungsvorschläge bzgl Durchsuchen von Archiven (Archive rekursiv durchsuchen und mehr)
Danke für die Rückmeldung. Wäre da nicht eine Warnung sinnvoll unter dem Reiter "Archivdateien" in Richtung: "Die Extraktion der Formate x y und z kann aus technischen Gründen nur single-threaded erfolgen. Werden größere Archivbestände durchsucht empfielt sich das Entpacken in ein tem...
- 08 Jun 2021, 15:07
- Forum: AllDup (Deutsch)
- Topic: Optimierungsvorschlag Prüfsummenmethoden
- Replies: 5
- Views: 12944
Re: Optimierungsvorschlag Prüfsummenmethoden
Auch heir wäre eine Rückmeldung dazu schön.
- 08 Jun 2021, 15:05
- Forum: AllDup (Deutsch)
- Topic: Prüfsummen verschiedener Laufwerke optional parallelisieren
- Replies: 2
- Views: 11128
Re: Prüfsummen verschiedener Laufwerke optional parallelisieren
Eine Rückmeldung dazu wäre schön.
- 08 Jun 2021, 15:04
- Forum: AllDup (Deutsch)
- Topic: Filter negieren (z.B. selber Inhalt aber Zeitstempel ungleic
- Replies: 4
- Views: 11412
Re: Filter negieren (z.B. selber Inhalt aber Zeitstempel ungleic
Eine Rückmeldung dazu wäre schön.
- 08 Jun 2021, 15:00
- Forum: AllDup (Deutsch)
- Topic: Verbesserungsvorschläge bzgl Durchsuchen von Archiven (Archive rekursiv durchsuchen und mehr)
- Replies: 4
- Views: 9577
Re: Verbesserungsvorschläge bzgl Durchsuchen von Archiven (Archive rekursiv durchsuchen und mehr)
Eine Rückmeldung dazu wäre schön.
- 08 Jun 2021, 14:59
- Forum: AllDup (Deutsch)
- Topic: Optimierung der direkten Dateivergleiche
- Replies: 0
- Views: 38976
Optimierung der direkten Dateivergleiche
Alldup hat ja bereits die clevere Option, zuerst den letzten Block zweier Dateien zu vergleichen. Ich denke, man kann den Dateivergleich noch weiter verbessern: Man speichert einen ordentlichen Hash (etwa SHA1) der ersten Vergleichsblöcke (Einstellungsabhängig eben der erste oder letzte Block einer ...
- 19 Nov 2020, 14:33
- Forum: AllDup (Deutsch)
- Topic: Verbesserungsvorschläge bzgl Durchsuchen von Archiven (Archive rekursiv durchsuchen und mehr)
- Replies: 4
- Views: 9577
Verbesserungsvorschläge bzgl Durchsuchen von Archiven (Archive rekursiv durchsuchen und mehr)
Mit einem gezielten Test habe ich heute festgestellt, dass Alldup nur die erste Ebene von Archiven entpackt, also nicht Archive in Archiven. Sinnvoll fände ich, wenn Alldup dies auch tun würde. Idealer Weise würde dies passieren, sobald alle notwendigen subarchive entpackt sind - und nicht etwa erst...
- 01 Dec 2018, 07:20
- Forum: AllDup (Deutsch)
- Topic: Filter negieren (z.B. selber Inhalt aber Zeitstempel ungleic
- Replies: 4
- Views: 11412
Re: Filter negieren (z.B. selber Inhalt aber Zeitstempel ung
Eigentlich ging es mir im wesentlichen darum, sagen zu können, dass eine Bedingung - besonders die Änderungszeit - eben nicht identisch sein soll.
- 21 Sep 2018, 13:38
- Forum: AllDup (Deutsch)
- Topic: Optimierungsvorschlag Prüfsummenmethoden
- Replies: 5
- Views: 12944
Re: Optimierungsvorschlag Prüfsummenmethoden
Disclaimer: Alle Äußerungen nach bestem Wissen basierend auf technischem Verständnis und Jahrelanger Nutzung von AllDup. Ich bin kein Entwickler von AllDup und mag mich gerade bzgl der konkreten Implementierung Irren. In diesem Fall bitte ich um Korrektur durch den Administrator. Zur Kombination has...
- 21 Sep 2018, 12:59
- Forum: AllDup (Deutsch)
- Topic: Prüfsummen verschiedener Laufwerke optional parallelisieren
- Replies: 2
- Views: 11128
Prüfsummen verschiedener Laufwerke optional parallelisieren
Mir ist aufgefallen, dass die Prüfsummen sequentiell berechnet werden, also erst Datei A dann Datei B. Das verschenkt viel Leistung, wenn verschiedene Laufwerke abgeglichen werden. Ich verstehe, warum das so implementiert ist - wenn sich die logischen Laufwerke auf der physisch selben HDD befinden, ...
- 03 May 2018, 11:32
- Forum: AllDup (Deutsch)
- Topic: GUI-Fehler?
- Replies: 2
- Views: 5466
Re: GUI-Fehler?
Das ist kein Bug? Warum ist denn eine solche Kombination nicht möglich?!
Daswäre ja nützlich um zB die zahl unnötiger Inhaltsvergleiche zu reduzieren.
Daswäre ja nützlich um zB die zahl unnötiger Inhaltsvergleiche zu reduzieren.