Hardlinks oder besser Verknüpfungen erstellen lassen?

Deutscher Support für die Software AllDup
David.P
Posts: 36
Joined: 19 Jan 2020, 18:15

Hardlinks oder besser Verknüpfungen erstellen lassen?

Post by David.P »

Hallo zusammen,

angenommen ich möchte massenhafte Dateiduplikate entweder durch Hardlinks oder Verknüpfungen ersetzen, um Speicherplatz zu sparen. Die Dateiduplikate sind inhaltlich identisch, haben aber teilweise verschiedene Dateinamen, und liegen auf unterschiedlichste Ordner verteilt auf einer Festplatte, bzw. auf einem Netzlaufwerk.

Ich nehme an, sowohl bei der Erstellung von Hardlinks als auch Verknüpfungen würden etwa unterschiedliche Dateinamen von Duplikaten beibehalten, es würden lediglich sämtliche Duplikate auf ein und dasselbe Original verweisen?

Welche der beiden Varianten wäre wohl robuster, Hardlinks oder Verknüpfungen?

Ich denke, Verknüpfungen wären robuster, da diese auch beim Kopieren von Ordnern oder des gesamten Dateisystems auf ein anderes Laufwerk erhalten bleiben sollten, und dank des Distributed Link Tracking Feature von Windows das jeweilige Ziel dann automatisch wiederfinden?

Hardlinks lassen sich meines Wissens nicht (ohne spezielle Tools) auf ein anderes Laufwerk oder ein anderes Dateisystem kopieren, es würden wohl stattdessen die Dateiduplikate beim Kopieren wieder neu erzeugt.

Folglich sollte ich mich hier wohl für Verknüpfungen und nicht für Hardlinks entscheiden?

Vielen Dank für Meinungen, ob dies so zutrifft.
Administrator
Site Admin
Posts: 4046
Joined: 04 Oct 2004, 18:38
Location: Thailand
Contact:

Re: Hardlinks oder besser Verknüpfungen erstellen lassen?

Post by Administrator »

Im Prinzip haben Sie Ihre Frage schon selbst beantwortet.
Nach Ihrer Beschreibung zu urteilen sollten Sie Verknüpfungen verwenden.
David.P
Posts: 36
Joined: 19 Jan 2020, 18:15

Re: Hardlinks oder besser Verknüpfungen erstellen lassen?

Post by David.P »

Besten Dank für die schnelle Antwort!

Was wären denn (in anderen Fällen) Gründe, Hardlinks anstelle von Verknüpfungen zu verwenden?
goldkante
Posts: 185
Joined: 28 May 2017, 17:00

Re: Hardlinks oder besser Verknüpfungen erstellen lassen?

Post by goldkante »

David.P wrote: 19 Apr 2020, 21:09 Was wären denn (in anderen Fällen) Gründe, Hardlinks anstelle von Verknüpfungen zu verwenden?
Da Verknüpfungen nicht viel Speicherplatz benötigen, kann man nicht pauschal "Der gesparte Speicherplatz" antworten.

Verknüpfungen passen sich nicht automatisch an, wenn man die Dateien verschiebt, auf die sie zeigen.
Bei Hardlinks braucht man sich nicht um eine manuelle Korrektur zu kümmern, das macht das Betriebssystem für den geneigten User. Ergo, weniger Arbeit beim Umbenennen oder Verschieben vieler Dateien.

Hardlinks sind auch praktisch, da sie wie eine echte Datei wirken, Verknüpfungen sind .... Verknüpfungen ;-)

Ich meine, es ist Sache der pers. Präferenz und von Fall zu Fall neu zu bewerten.

Ein Szenario, das ich gerade hatte:
Tausende von Grafikdateien (Straßenschilder, Pfeile, etc.) in diversen Unter-Unter-Ordnern, wobei jede Grafik in mehreren Ordnern enthalten sein kann/darf/muss.
Hier macht das Ersetzten durch Hardlinks viel Sinn, da man im Explorer -wie oben erwähnt- wild umherverschieben und umbenennen kann, ohne später Links/Verknüpfungen aktualisieren zu müssen.
David.P
Posts: 36
Joined: 19 Jan 2020, 18:15

Re: Hardlinks oder besser Verknüpfungen erstellen lassen?

Post by David.P »

Ich stimme zu, dass Hardlinks bequemer und sauberer sind, da es überhaupt nicht auffällt, dass es sich um "Links" und nicht um die "tatsächlichen Dateien" handelt. In der Tat ist es ja sogar so, dass weder User noch OS Hardlinks von "tatsächlichen Dateien" unterscheiden können.

Allerdings scheinen mir Verknüpfungen immer noch robuster zu sein, da diese (im Gegensatz zu Hardlinks) auch beim Kopieren von Ordnerstrukturen auf ein anderes Laufwerk erhalten bleiben (es sei denn man benutzt zum Kopieren spezielle Tools wie z.B. Link Shell Extension mit Smart Copy.

Außerdem hab ich schon mal ausprobiert, dass dank des Distributed Link Tracking Feature von Windows bei Verknüpfungen sowohl die Verknüpfungsquelle als auch das Verknüpfungsziel verschoben oder umbenannt werden kann, und Windows findet trotzdem noch die Verknüpfung zwischen den beiden.
David.P
Posts: 36
Joined: 19 Jan 2020, 18:15

Re: Hardlinks oder besser Verknüpfungen erstellen lassen?

Post by David.P »

Ich stimme zu, dass Hardlinks bequemer und sauberer sind, da es überhaupt nicht auffällt, dass es sich um "Links" und nicht um die "tatsächlichen Dateien" handelt. In der Tat ist es ja sogar so, dass weder User noch OS Hardlinks von "tatsächlichen Dateien" unterscheiden können.

Allerdings scheinen mir Verknüpfungen immer noch robuster zu sein, da diese (im Gegensatz zu Hardlinks) auch beim Kopieren von Ordnerstrukturen auf ein anderes Laufwerk erhalten bleiben (es sei denn man benutzt zum Kopieren spezielle Tools wie z.B. Link Shell Extension mit Smart Copy).

Außerdem hab ich schon mal ausprobiert, dass dank des Distributed Link Tracking Feature von Windows bei Verknüpfungen sowohl die Verknüpfungsquelle als auch das Verknüpfungsziel verschoben oder umbenannt werden kann, und Windows findet trotzdem noch die Verknüpfung zwischen den beiden.
goldkante
Posts: 185
Joined: 28 May 2017, 17:00

Re: Hardlinks oder besser Verknüpfungen erstellen lassen?

Post by goldkante »

David.P wrote: 23 Apr 2020, 16:11In der Tat ist es ja sogar so, dass weder User noch OS Hardlinks von "tatsächlichen Dateien" unterscheiden können.
Ich glaube, das hast du Missverstanden, oder ich missinterpretiere Deine Aussage ;-) Wir sprechen bestimmt vom Selben nur aus anderen Richtungen...
Das OS, eher wohl das Dateisystem, muss ja immer wissen was nun hinter einer Datei steht, die der User zu Gesicht bekommt, denn sonst gäbe es die Option "Anzahl der Hardlinks pro Datei ermitteln" nicht in AllDup.
David.P wrote: 23 Apr 2020, 16:11Allerdings scheinen mir Verknüpfungen immer noch robuster zu sein, da diese (im Gegensatz zu Hardlinks) auch beim Kopieren von Ordnerstrukturen auf ein anderes Laufwerk erhalten bleiben (es sei denn man benutzt zum Kopieren spezielle Tools wie z.B. Link Shell Extension mit Smart Copy).
Ok, das war mir nicht bewusst! In der Tat habe ich die genannten LinkShellExtensions auch installiert und -glaube auch- das ich sie -ab und an- nutze zum Linkerstellen...
David.P wrote: 23 Apr 2020, 16:11Außerdem hab ich schon mal ausprobiert, dass dank des Distributed Link Tracking Feature von Windows bei Verknüpfungen sowohl die Verknüpfungsquelle als auch das Verknüpfungsziel verschoben oder umbenannt werden kann, und Windows findet trotzdem noch die Verknüpfung zwischen den beiden.
Tja, da bin ich aussen vor mit meiner Win7 Pro installation für Privathaushalte und ohne Domänenzugang.

Danke ob der Auffrischung meines Wissenstandes!
David.P
Posts: 36
Joined: 19 Jan 2020, 18:15

Re: Hardlinks oder besser Verknüpfungen erstellen lassen?

Post by David.P »

goldkante wrote: 23 Apr 2020, 23:36
David.P wrote: 23 Apr 2020, 16:11In der Tat ist es ja sogar so, dass weder User noch OS Hardlinks von "tatsächlichen Dateien" unterscheiden können.
Das OS, eher wohl das Dateisystem, muss ja immer wissen was nun hinter einer Datei steht, die der User zu Gesicht bekommt, denn sonst gäbe es die Option "Anzahl der Hardlinks pro Datei ermitteln" nicht in AllDup.
Also meines Wissens ist es so, dass jede einzelne Datei, die z.b. im Windows Explorer angezeigt wird, auch schon ein "Hardlink" ist.

Wenn man dann einen Hardlink auf diese Datei erstellt, gibt es anschließend einfach zwei Hardlinks auf denselben Dateiinhalt. Aber diese beiden Hardlinks sind weder für das OS noch für den User unterscheidbar.

Wie genau Alldup dennoch herausfindet, dass es keine zwei identischen Dateien sind, sondern zwei Hardlinks auf denselben Dateiinhalt, weiß ich allerdings auch nicht.
goldkante
Posts: 185
Joined: 28 May 2017, 17:00

Re: Hardlinks oder besser Verknüpfungen erstellen lassen?

Post by goldkante »

David.P wrote: 24 Apr 2020, 00:45 Wie genau Alldup dennoch herausfindet, dass es keine zwei identischen Dateien sind, sondern zwei Hardlinks auf denselben Dateiinhalt, weiß ich allerdings auch nicht.
Unter Linux ist diese Information in den Inodes gespeichert, soweit meine Erinnerung mich nicht täuscht.
Windows wird ähnliches bieten, so das man "nur" abfragen muss und nicht über die komplette Platte jagen muss ...ist aber schon einige Jahre her, dass ich mit Dateisystemprogrammierung zu tun hatte. Wer weiß schon, was es heutzutage alles wundersames in der IT-Welt gibt :-)

Hier noch eine Erklärung für Menschen wie uns (inklusive Schaubild) :-)
"Der Unterschied zwischen Hard- und Softlinks liegt darin, dass ein Softlink ein Link auf die Ursprungsdatei, ein Hardlink jedoch ein weiterer Link von der Ursprungsdatei ist."
David.P
Posts: 36
Joined: 19 Jan 2020, 18:15

Re: Hardlinks oder besser Verknüpfungen erstellen lassen?

Post by David.P »

Hallo,

ich wollte das eingangs genannte Szenario jetzt mal ausprobieren mit einem Ordner, der diverse Duplikate von diversen Dateien in jeweils unterschiedlichen Unterordnern enthält.

Wenn ich aus den Duplikaten vor dem Löschen Shortcuts erstellen lasse, funktioniert alles.

Möchte ich aber aus den Duplikaten vor dem Löschen Hardlinks erstellen, funktioniert es mit keiner einzigen Datei. Es kommt stattdessen für jedes Dateiduplikat die folgende Fehlermeldung:

2021-09-24_231649.png
No source file could be found to create hard links for the files in the group 'PDF'!


Woran könnte das wohl liegen, und wie gelingt es mir, Hardlinks erstellen zu lassen?

Hab es nochmals mit einem anderen Ordner probiert, mit demselben Ergebnis.

Hier noch die Log-Datei:

Code: Select all

25.09.2021 00:02:38 - INFO: Unable to detect the VLC Media Player 32-bit version 3 on your system
25.09.2021 00:02:39 - --------------------------------------------------
25.09.2021 00:02:39 - AllDup 4.4.56 PE
25.09.2021 00:02:39 - Search method: File extension + File size + File content + File last modified date
25.09.2021 00:02:39 - Comparison method: Byte by Byte
25.09.2021 00:02:39 - Match: 100%
25.09.2021 00:02:39 - 1.Source folder: C:\Temp-C\H15-D-fresh.compacted.works
25.09.2021 00:02:39 - Option: Compare files from all source folders
25.09.2021 00:02:39 - Determine file count of all source folders...
25.09.2021 00:02:39 - File count: 160
25.09.2021 00:02:39 - Scan: C:\Temp-C\H15-D-fresh.compacted.works
25.09.2021 00:02:39 - Files filtered: 2
25.09.2021 00:02:39 - Found 134 duplicates with a total of 302,57 MB inside folder 'C:\Temp-C\H15-D-fresh.compacted.works'
25.09.2021 00:02:39 - Scanned files: 160
25.09.2021 00:02:39 - Groups: 67
25.09.2021 00:02:39 - File comparison count: 67
25.09.2021 00:02:39 - Duplicates: 134 (83%) (302,57 MB)
25.09.2021 00:02:39 - Elapsed time: 00:00:01
25.09.2021 00:04:04 - --------------------------------------------------
25.09.2021 00:04:04 - Action 'Delete files' started.
25.09.2021 00:04:04 - No source file could be found to create hard links for the files in the group 'XML'!
25.09.2021 00:04:04 - Code: 1
25.09.2021 00:04:16 - DELETED: C:\Temp-C\H15-D-fresh.compacted.works\backup2\counters\counts-2020-06.xml
25.09.2021 00:04:16 - No source file could be found to create hard links for the files in the group 'XML'!
25.09.2021 00:04:16 - Code: 1
25.09.2021 00:04:19 - Action 'Delete files' canceled.
25.09.2021 00:04:19 - Files deleted: 1 of 67
25.09.2021 00:04:43 - --------------------------------------------------
25.09.2021 00:04:43 - Action 'Delete files' started.
25.09.2021 00:04:43 - No source file could be found to create hard links for the files in the group 'XML'!
25.09.2021 00:04:43 - Code: 1
25.09.2021 00:04:45 - Action 'Delete files' canceled.
25.09.2021 00:04:45 - Files deleted: 0 of 67
Administrator
Site Admin
Posts: 4046
Joined: 04 Oct 2004, 18:38
Location: Thailand
Contact:

Re: Hardlinks oder besser Verknüpfungen erstellen lassen?

Post by Administrator »

Es müssen mindestens 2 Dateien in einer Gruppe ausgewählt sein.
Siehe Hinweise für Hardlinks in der Dokumentation.
David.P
Posts: 36
Joined: 19 Jan 2020, 18:15

Re: Hardlinks oder besser Verknüpfungen erstellen lassen?

Post by David.P »

Vielen Dank für die schnelle Antwort.

Also sollte ich in diesem Fall in jeder Gruppe alle Dateien auswählen, wenn ich also Hardlinks aller gelöschten Dateien erstellen lassen möchte?

Da Alldup ja automatisch eine der Dateien als Quelldatei auswählt und alle anderen löscht.

So richtig?

Edit: habe es jetzt auf einen Ordner mit 13 GB und nachweislich tausenden von Duplikaten angewendet, und es wurden gemäß Log auch entsprechend Tausende von Duplikaten im Umfang von 11 GB gelöscht und jeweils Hardlinks erzeugt.

Aber die Größe des Ordners hat nicht um ein einziges Bit abgenommen. Die "Größe auf dem Datenträger" hat sogar zugenommen!

Wenn ich dann nach dem Löschen der Duplikate einen zweiten Suchlauf durchführe, dann werden sämtliche Duplikate des ersten Durchlaufs erneut gefunden (obwohl die Option "keine Hardlinks inhaltlich vergleichen" aktiviert ist).

Woran könnte das liegen?
Administrator
Site Admin
Posts: 4046
Joined: 04 Oct 2004, 18:38
Location: Thailand
Contact:

Re: Hardlinks oder besser Verknüpfungen erstellen lassen?

Post by Administrator »

David.P wrote: 25 Sep 2021, 14:43 Also sollte ich in diesem Fall in jeder Gruppe alle Dateien auswählen, wenn ich also Hardlinks aller gelöschten Dateien erstellen lassen möchte?
Ja
Aber die Größe des Ordners hat nicht um ein einziges Bit abgenommen. Die "Größe auf dem Datenträger" hat sogar zugenommen!
Dann wurde dies von dem verwendeten Programm "falsch" berechnet...
Wenn ich dann nach dem Löschen der Duplikate einen zweiten Suchlauf durchführe, dann werden sämtliche Duplikate des ersten Durchlaufs erneut gefunden (obwohl die Option "keine Hardlinks inhaltlich vergleichen" aktiviert ist).
die Option "Keine Hardlinks inhaltlich vergleichen" bedeutet auch nur dass der Inhalt nicht verglichen wird...
David.P
Posts: 36
Joined: 19 Jan 2020, 18:15

Re: Hardlinks oder besser Verknüpfungen erstellen lassen?

Post by David.P »

O.k. danke. Ich sehe beim zweiten Scan auch, dass alle Duplikate (sowie das Original) bereits als Hardlink erscheinen.

Es scheint gar nicht so einfach zu sein, die tatsächliche Größe eines Ordners zu ermitteln, habe das schon mit diversen Tools probiert wie z.B. Wiztree etc.

Wäre dankbar für etwaige Tipps, mit welchem Tool ich die tatsächliche (physische) Größe eines Ordners anzeigen lassen kann.

Viele Grüße
Administrator
Site Admin
Posts: 4046
Joined: 04 Oct 2004, 18:38
Location: Thailand
Contact:

Re: Hardlinks oder besser Verknüpfungen erstellen lassen?

Post by Administrator »

kommerzeille Tools wie z.b. TreeSize können das optional, oder man verwendet freie Tools wie z.b.: Disk Usage von MS
Post Reply