Duplikate werden nicht erkannt, obwohl sie vorhanden sind

[Dr.Wehringer]

Hallo,

danke auch zunächst für die kostenlose Bereitstellung dieser Softwarelösung. Für meine Zwecke scheint sie auch alternativlos zu sein.

Leider habe ich bei folgendem Fall ein Problem:

Ausgangssituation:
1. Ich habe mit der kostenlosen Testversion von allsync den Ordner "Familienarchiv" (Fotos, Videos, Dokumente, komprimierte Dateien etc.) von der Festplatte "E" auf das externe Laufwerk "F" kopiert. Die ursprüngliche Ordnerstruktur von "Familienarchiv" habe ich nicht übertragen. Ich habe also die Funktion von allsync genutzt, die Ordnerstruktur nicht zu übertragen.

2. Paranoid wie ich bin, möchte ich nun die beiden Quellverzeichnisse auf hundertprozentige Datenintegrität vergleichen (wie gesagt unter Ignorierung der Ordnerstruktur.

3. testweise habe ich 2 Fotos manipuliert, dich sich also in beiden Quellverzeichnisses unterscheiden (ein Farbfoto ist z.B. schwarz-weiß)

4. Folgende Vorgaben hat alldup:
"06.01.2019 12:47:41 - --------------------------------------------------
06.01.2019 12:47:41 - AllDup 4.2
06.01.2019 12:47:41 - Suchmethode: Dateiinhalt SHA-1 (160-Bit) (100%)
06.01.2019 12:47:41 - Option: Vergleiche nur Dateien aus unterschiedlichen Quellordnern
06.01.2019 12:47:41 - Option: ID3-Tags von MP3-Dateien ignorieren
06.01.2019 12:47:41 - Option: Metadaten von FLAC-Dateien ignorieren
06.01.2019 12:47:41 - Option: Exif-Daten von JPEG-Dateien ignorieren
06.01.2019 12:47:41 - Ordnerfilter aktiviert: 8 [Anmerkung: davon 7 standardmäßig und 1 Ordner, der auch nicht kopiert wurde]
06.01.2019 12:47:41 - Die Anzahl der Dateien wird ermittelt...
06.01.2019 12:47:41 - Dateianzahl: 51.185
06.01.2019 12:47:41 - Durchsuche: E:\Überordner\Familienarchiv
06.01.2019 12:52:41 - Dauer : 00:05:00, Fortschritt : 27%, Aktuelle Datei : 14334 / 52175, 0 Duplikate gefunden, 0 Gruppen erstellt, - Dateivergleiche durchgeführt, - Prüfsummen erstellt, 744 Archive durchsucht, 5 Dateien gefiltert, 1 Ordner gefiltert
06.01.2019 12:57:41 - Dauer : 00:10:00, Fortschritt : 46%, Aktuelle Datei : 24388 / 52822, 0 Duplikate gefunden, 0 Gruppen erstellt, - Dateivergleiche durchgeführt, - Prüfsummen erstellt, 1302 Archive durchsucht, 6 Dateien gefiltert, 1 Ordner gefiltert
06.01.2019 12:58:19 - Dateien ausgeschlossen: 6 (0 Bytes)
06.01.2019 12:58:19 - Ordner ausgeschlossen: 1
06.01.2019 12:58:19 - Durchsuche: F:\Fotos konsolidiert"

Problematik:
Das Programm gibt verschiedene Fehlermeldungen aus:
1) In hundertfacher Zahl wird mir beispielhaft diese Meldung ausgegeben:
"06.01.2019 12:58:23 - ERROR: Beim Erstellen der Prüfsumme von Datei 'E:\Überordner\Familienarchiv\diverse Unterordner\017b.bmp.gz\017b.bmp' ist ein Fehler aufgetreten: CreateFileWide: #3 - Das System kann den angegebenen Pfad nicht finden."

2) unzählige vermeintliche "Dateien ohne Duplikate" (was nicht sein kann, da sich in beiden Quellverzeichnissen die Duplikate tatsächlich finden lassen)
"06.01.2019 13:26:07 - Dateien ausgeschlossen: 5 (0 Bytes)
06.01.2019 13:26:07 - Ordner ausgeschlossen: 0
06.01.2019 13:26:07 - 25939 Duplikate mit insgesamt 55,12 GB in 'E:\Überordner\Familienarchiv' gefunden
06.01.2019 13:26:07 - 24931 Duplikate mit insgesamt 55,96 GB in 'F:\Fotos konsolidiert' gefunden
06.01.2019 13:26:10 - Überprüfte Dateien: 54.180
06.01.2019 13:26:10 - Gruppen: 24.473
06.01.2019 13:26:10 - Durchsuchte Archive: 2163
06.01.2019 13:26:10 - Dateivergleiche: 45.008.938
06.01.2019 13:26:10 - Prüfsummen erstellt: 51.991
06.01.2019 13:26:10 - Duplikate: 50870 (93%) (111,08 GB)
06.01.2019 13:26:10 - Zeitaufwand: 00:38:29
06.01.2019 13:26:10 - Dateien ohne Duplikate: ...."

Bei Lösung des Problems bin ich bereit, sowohl allsync zu kaufen, als auch etwas für alldup zu spenden. Danke im Voraus für die Hilfe.

[Dr.Wehringer]

Zur Ergänzung noch das Protokoll von allsync:

"03.01.2019 21:06:06 - AllSync 3.5.124 - Professional Edition - DEMOVERSION gestartet.
03.01.2019 21:23:10 - ==================================================
03.01.2019 21:23:10 - Kopiervorschau gestartet
03.01.2019 21:23:10 - ==================================================
03.01.2019 21:23:10 - PROFIL: Test1
03.01.2019 21:23:10 - KOPIERMODUS: Benutzerdefiniert
03.01.2019 21:23:10 - QUELLE: E:\Überordner\Familienarchiv\
03.01.2019 21:23:11 - ZIEL: F:\Fotos konsolidiert\
03.01.2019 21:23:11 - Quelle wird eingelesen
03.01.2019 21:23:14 - Info Quelle: 55.118.100,41 KB, 27.341 Datei(en), 356 Ordner, 'NTFS', 'Volume', 'Lokaler Datenträger'
03.01.2019 21:23:14 - Ziel wird eingelesen
03.01.2019 21:23:14 - Info Ziel: 0,00 KB, 0 Datei(en), 0 Ordner, 'NTFS', 'TOSHIBA EXT', 'Lokaler Datenträger'
03.01.2019 21:23:14 - Vergleiche Quelle und Ziel
03.01.2019 21:23:17 - Zeitaufwand: 0:00:07
03.01.2019 21:23:17 - --------------------------------------------------
03.01.2019 21:23:19 - Kopiervorschau beendet.
03.01.2019 21:28:30 - ==================================================
03.01.2019 21:28:30 - Kopiervorgang gestartet
03.01.2019 21:28:30 - ==================================================
03.01.2019 21:28:30 - PROFIL: Test1
03.01.2019 21:28:30 - KOPIERMODUS: Benutzerdefiniert
03.01.2019 21:28:30 - QUELLE: E:\Überordner\Familienarchiv\
03.01.2019 21:28:30 - ZIEL: F:\Fotos konsolidiert\
03.01.2019 21:28:30 - Daten für die Fortschrittsanzeige werden ermittelt...
03.01.2019 21:28:30 - Bearbeite Quelle -->> Ziel
04.01.2019 10:45:55 - Info Quelle: 56.968.631,30 KB, 39.979 Datei(en), 930 Ordner, 'NTFS', 'Volume', 'Lokaler Datenträger'
04.01.2019 10:45:55 - Info Ziel: 53.035.078,32 KB, 23.840 Datei(en), 0 Ordner, 'NTFS', 'TOSHIBA EXT', 'Lokaler Datenträger'
04.01.2019 10:45:55 - ERROR: Die Ordnerstatistik der Quell- und Zielordner ist unterschiedlich!
04.01.2019 10:45:55 - PROFIL-STATISTIK:
04.01.2019 10:45:55 - Zeitaufwand: 13:17:25
04.01.2019 10:45:55 - Fehlermeldungen: 1
04.01.2019 10:45:55 - Dateien: 23840 erstellt
04.01.2019 10:45:55 - Datenvolumen in die Zielordner kopiert: 53.035.078,32 KB
04.01.2019 10:45:55 - --------------------------------------------------
04.01.2019 10:45:55 - Kopiervorgang beendet.
04.01.2019 10:45:55 - --------------------------------------------------
04.01.2019 10:45:55 - HINWEIS: Es sind 1 Fehler aufgetreten! Beachten Sie bitte die 'ERROR'-Meldung(en) weiter oben im Protokoll.
04.01.2019 17:50:39 - --------------------------------------------------
04.01.2019 17:50:39 - LIZENZINFO: Seit dem Start von AllSync wurden keine Daten auf ein weiteres Gerät mit eigener IP-Adresse übertragen.
04.01.2019 17:50:39 - LIZENZINFO: Für die Vollversion von AllSync werden hierfür 1 Lizenz(en) benötigt."

[Administrator]

Deaktivieren Sie mal bei den Suchoptionen das durchsuchen von Archivdateien und starten Sie die Suche dann erneut.

[Dr.Wehringer]

Hallo,

danke, mache ich gleich.

Ein paar Sachen habe ich daneben herausgefunden bzw. festgestellt:

- es finden sich im Quellverzeichnis ("Familienarchiv") auch viele Duplikate mit gleichem Namen etc. (in Unterordnern). Was macht allsync mit diesen Dateien beim Transfer in ein Verzeichnis ohne ursprüngliche Ordnerstruktur? Eine Fehlermeldung, dass diese Dateien aufgrund doppelter Dateinamen nicht übertragen wurden, kam nicht.
- alldup findet im Quellverzeichnis fast doppelt soviele Duplikate wie anti-twin (ich habe verschiedene Methoden versucht und immer beiden Programmen die selbe Methode gegeben; zuletzt: byte für byte + Name + Größe + Erstellungsdatum + Dateieindung; nur jpg/jpeg; Dateien über 50kb) -> wie kann das sein?

[Administrator]

Was macht allsync mit diesen Dateien beim Transfer in ein Verzeichnis ohne ursprüngliche Ordnerstruktur?

Vorhandene Dateien werden überschrieben.

alldup findet im Quellverzeichnis fast doppelt soviele Duplikate wie anti-twin

Das liegt wahrscheinlich daran, dass Sie festgelegt haben, dass der Inhalt von Archiven nach Duplikaten durchsucht werden soll.
Wenn Sie z.b. 100 Zipdateien mit jeweils 10 Dateien Inhalt haben, dann sind das weitere 1000 Dateien die zur Suche dazukommen.

[Dr.Wehringer]

Hallo,

ich bin jetzt folgenderweise vorgegangen:

1) Ich habe das Quellverzeichnis "Familienarchiv" zunächst von Duplikaten entfernt (mit Anti-Twin).
2) den Ordner habe ich erneut mit allsync "ohne Übernahme der Ordnerstruktur" nach F:\ kopiert
3) Ich habe ohne Durchsuchung von komprimierten Dateien (.zip etc.) beide Verzeichnisse untersuchen lassen
=> Ergebnis: 2 % enthalten keine Duplikate, was nicht sein darf. Darunter viele Bild-Dateien. Ich verstehe es nicht.

[Administrator]

Dann liegt die Ursache wahrscheinlich daran, dass Sie die Daten ohne Ordnerstruktur kopiert haben und vorhandene Dateien dabei überschrieben werden.

[Dr.Wehringer]

Hallo,

ja und nein. Es ist auf jeden Fall kritisch, dass es im Protokoll keine Fehlermeldung gibt, sobald Dateien nicht übertragen wurden. Dennoch sollten letztlich in beiden Verzeichnissen alle Dateien vorhanden sein, bzw. keine Duplikate fehlen. Ein Lösungsansatz wäre, bei Duplikaten durch allsync den Dateinamen erweitern zu lassen (z.B. "TanteErna (Kopie 1).jpg")

Und nein, weil ich ja nun bereits im Quellverzeichnis die Duplikate entfernt hatte. Es müssten also ausnahmslos alle Dateien übertragen worden sein. Dagegen sprechen aber die 2% Dateien ohne Duplikate.

[Administrator]

Und nein, weil ich ja nun bereits im Quellverzeichnis die Duplikate entfernt hatte.

Und nach welchen Kriterien wurden diese Duplikate im Quellordner ermittelt? Dateiname?

[Dr.Wehringer]

Hilft das so?

[Administrator]

Hilft das so?

Mit dieser Suchmethode ist nicht ausgeschlossen, dass Dateien mit dem gleichen Namen noch existieren...

[Dr.Wehringer]

"Namen vergleichen" steht im ersten Screenshot.

Der Name ist auch nur zweitrangig und dient nur dazu, die "byte für byte"-Suche zu beschleunigen. Wichtiger ist es mir, dass die Dateien "byte-für-byte" 100% identisch sind. Der Duplikate-Filter - auch wenn ich alldup einsetze - hat daher die Kriterien: "identischer Name", "identische Größe", "byte für byte 100%".

[Dr.Wehringer]

Hab den Gedanken jetzt verstanden. Es geht ja um die Dateinamen beim Kopieren. Daher können die auch nicht in den Ordner ohne Ordnerstruktur, da die Dateien dem Namen nach ja schon vorhanden sind.

Aber: Jetzt wollte ich bei alldup die Funktion "umbenennen" der Duplikate nutzen... scheint aber so, wenn z.B. 3 von 4 Duplikaten in einer Gruppe ausgewählt und umbenannt werden sollen, dass diese 3 dann alle wieder den selben Namen bekommen, z.B. Duplikat DSC10111.jpg. Das ist doch auch wieder frustrierend.

[Dr.Wehringer]

Ich nehme an, hier wird nicht mehr geholfen. Meine Testlizenz ist auch mittlerweile abgelaufen. Schade drum.