AllDup hängt und lässt die Platte überquellen.

[goldkante]

Hallo und ein schönes neues, hoffentlich erholsames und erfolgreiches (im Sinne der eigenen Vorstellungen und Projekte) Jahr :-D

Passender Text zu dem schönen Betreff-Text:

Ich habe mit der 4.4.12 und einigen Versionen davor folgendes Verhalten von AllDup reproduzierbar feststellen können:

AllDup friert ab einer bestimmten Grenze an entspackten Archiven ein und lässt sich nicht mehr (ohne zuhilfenahme des Taskmanagers) beenden oder abbrechen.

Auf meiner C:-Platte sind ca. 40GB frei.
Dieser freie Speicherplatz wird (allerdings nicht immer*) von AllDup komplett vollgeschrieben mit den entpackten Dateien aus diversen Archiven.
Lösche ich händisch einige Dateien aus dem von AllDup angelegten Verzeichniss "ADtemp", arbeitet AllDup weiter, ist die (dann wieder) Platte voll, hängt AllDup.

Soweit schon nachvollziehbar, jedoch meiner Meinung nach kein Zustand, mit dem man problemlos arbeiten kann.

Weitere "Umgebungs-Daten":

Der Ordner, den ich in AllDup prüfen lasse ist ca. 800GB groß und enthält etwa 30000 Dateien/Archive. Allesamt zwischen 5MB und 1.5GB groß.

Die Option Suchoptionen -> Archivdateien -> Temporäre Dateien nach dem Erstellen Ihrer Prüfsumme löschen ist aktiviert.
Ebenso wurde eingestellt: Suchoptionen -> Archivdateien -> Dateien ab einer Größe von 100MB nicht entpacken.
Die Archive haben kein gesetztes Passwort.

Der ADtemp Ordner wächst bis über 40GB an und enthält knapp 90.070 (entpackte) Dateien.

Grund des Probems, m.E. :
Es werden erst im Schritt 5 von 8 die temporären Dateien gelöscht und nicht -wie ich angenommen hatte- direkt nach dem entpacken und der Prüfsummenerstellung.


*Interessante Entdeckung nebenbei:

Wenn AllDup "einfriert", ist die Festplatte nicht immer voll. Manchmal sind noch 30GB frei.
Ich habe die -noch nicht wirklich reproduzierbar durchgetestete- Vermutung, das liegt evtl. an der Option
Breite und Höhe von Bilddateien ermitteln. Obwohl die doch bei der Suchmethode: Dateiinhalt keine Rolle spielen sollte. Wie gesagt, noch nicht ausgiebig genug getestet.

Frage:
Welche Möglichkeit gibt es -innerhalb AllDup-, dem "überquellen" der Festplatte Einhalt zu gewähren?

Die Ordner aufzuteilen oder nur Teile davon prüfen zu lassen wäre möglich, ist allerdings keine schöne Option, da AllDup ja "durchlaufen" soll um mir dann ein Komplettergebniss zu liefern.

Könnte man evtl die Möglichkeit in AllDup einbauen, den ADtemp Ordner "umzurouten", z.B. auf ein Laufwerk das der User wählt?

Trick 17:
Ein vor dem Scan angelegter symbolischer Link (Junction Point) wird zu Beginn des Scans zwar gelöscht und durch einen echten Ordner ersezt,
so das es nur hilft, AllDup während des Scans zu pausieren und den erstellten Ordner auf ein laufwerk mit genügend Kapazität zu verschieben, um dann einen passenden Symlink zu erstellen.
Ist aber auch nicht der Weisheit letzter Schluss :-)

Ich danke im voraus!

[Administrator]

Könnte man evtl die Möglichkeit in AllDup einbauen, den ADtemp Ordner "umzurouten", z.B. auf ein Laufwerk das der User wählt?

Siehe Optionen...

[goldkante]

...irgendwie fängt dieses Jahr nicht gut an.

Einiges an Fragen, deren Antworten mir eigentlich offensichtlich hätten auffallen sollen...

Entschuldigung! und Danke!

Bezüglich des Themas "hängt" hat das Umstellen des temp. Ordners leider nicht geholfen.

AllDup hängt ab 68%-80% nachvollziehbar fest, je nachdem, wie viele Archive zu entpacken sind und wie viele Dateien in den Archiven enthalten sind, vermute ich.

Nach einem Absturz, bzw. Taskmanager-Eingriff ist der ADtemp Ordner 304.934.056.906 Bytes (294G) groß und enthält 398403 Dateien.

Fall es wirklich zu viele Dateien sind, wäre es nett, wenn AllDup nicht einfrieren würde, sondern eine Grenze setzen würde und diese dem User -irgendwie?- mitteilt.

[Administrator]

Welche Suchkritierien wurden von Ihnen verwendet? Dateiinhalt (Byte für Byte)?
Ich werde dann mal eine Suche mit mehr als 500.000 ZIP-Archiven laufen lassen und sehen wie sich AllDup hier verhält...

[goldkante]

Hallo und Danke.

Dies sind meine Einstellungen f.d. Suche.

Der Ordner, den ich in AllDup prüfen lasse ist ca. 800GB groß und enthält etwa 30000 Dateien/Archive. Allesamt zwischen 5MB und 1.5GB groß.

[Administrator]

Hier das Log vom Testlauf:

19.01.2020 18:48:56 - Suchmethode: Dateiinhalt Byte für Byte (95%)
19.01.2020 18:48:56 - 1.Quellordner: G:\AllDup\!BACKGROUNDS
19.01.2020 18:48:56 - 2.Quellordner: G:\AllDup\!BUSINESS
19.01.2020 18:48:56 - 3.Quellordner: G:\AllDup\!FONT
19.01.2020 18:48:56 - 4.Quellordner: G:\AllDup2\!BACKGROUNDS
19.01.2020 18:48:56 - 5.Quellordner: G:\AllDup2\!BUSINESS
19.01.2020 18:48:56 - 6.Quellordner: G:\AllDup2\!FONT
19.01.2020 18:48:56 - Option: Vergleiche Dateien aus allen Quellordnern
19.01.2020 18:48:56 - Option: ID3-Tags von MP3-Dateien ignorieren
19.01.2020 18:48:56 - Option: Metadaten von FLAC-Dateien ignorieren
19.01.2020 18:48:56 - Option: Metadaten von JPEG/CR2-Dateien ignorieren
19.01.2020 18:48:56 - Option: Archivdateien: 7z, arj, cab, cb7, cbr, cbt, cbz, ePub, gz, iso, lha, lzh, nrg, rar, tar, zip
19.01.2020 18:48:56 - Die Anzahl der Dateien wird ermittelt...
19.01.2020 18:49:08 - Dateianzahl: 106.188
19.01.2020 18:49:08 - Durchsuche: G:\AllDup\!BACKGROUNDS
19.01.2020 19:17:10 - Durchsuche: G:\AllDup\!BUSINESS
19.01.2020 20:16:52 - Durchsuche: G:\AllDup\!FONT
19.01.2020 21:42:28 - ERROR: Beim Entpacken der Datei 'BENSHI.TTF' aus der Archivdatei 'G:\AllDup\!FONT\Fonts\ttf\BENSHI.TTF.zip' ist ein Fehler aufgetreten: unknown error [Search_CheckandCreateTempFileFromArchive]
19.01.2020 22:02:49 - Dateien ausgeschlossen: 1 (0 Bytes)
19.01.2020 22:02:49 - Durchsuche: G:\AllDup2\!BACKGROUNDS
19.01.2020 22:51:37 - Durchsuche: G:\AllDup2\!BUSINESS
20.01.2020 00:32:30 - Die Suche wurde von dem Anwender abgebrochen.
20.01.2020 00:32:30 - 11.150 Duplikate mit insgesamt 16,16 GB in 'G:\AllDup\!BACKGROUNDS' gefunden
20.01.2020 00:32:30 - 15.663 Duplikate mit insgesamt 37,89 GB in 'G:\AllDup\!BUSINESS' gefunden
20.01.2020 00:32:30 - 28.838 Duplikate mit insgesamt 1,03 GB in 'G:\AllDup\!FONT' gefunden
20.01.2020 00:32:30 - 11.150 Duplikate mit insgesamt 16,16 GB in 'G:\AllDup2\!BACKGROUNDS' gefunden
20.01.2020 00:32:30 - 15.663 Duplikate mit insgesamt 37,89 GB in 'G:\AllDup2\!BUSINESS' gefunden
20.01.2020 00:32:31 - Überprüfte Dateien: 133.002 / 172.689
20.01.2020 00:32:31 - Gruppen: 39.984
20.01.2020 00:32:31 - Durchsuchte Archive: 66.501 / 106.188
20.01.2020 00:32:31 - Dateien aus Archiven: 66.501
20.01.2020 00:32:31 - Entpackte Dateien: 59.647
20.01.2020 00:32:31 - Dateivergleiche: 98.269
20.01.2020 00:32:31 - Duplikate: 82.464 (47%) (109,12 GB)
20.01.2020 00:32:31 - Zeitaufwand: 05:43:34

Ausser dem mittlerweile bekannten "unknown error" ist nichts besonderes beim entpacken der Archivdateien passiert.
Die durchsuchten Archive befanden sich auf einer externen USB-Platte und der Tempordner lag auf einer weiteren externen USB-Platte.

[goldkante]

Ausser dem mittlerweile bekannten "unknown error" ist nichts besonderes beim entpacken der Archivdateien passiert.

Vielen Dank für Ihre Zeit!
Davon war ja auszugehen.... dann werde ich mir wohl oder übel einen neuen Rechner zulegen, vielleicht überstrapaziere ich die alte Möhre ja auch zu sehr mit meinen Anforderungen.

Ich melde mich dann wieder, sobald ich mit neuer Rechenkraft ausgestattet bin.

[Administrator]

Nur so am Rande: der Test lief auf einem Win7x64 Laptop mit i3 und 4GB