Hardlinks oder besser Verknüpfungen erstellen lassen?
Hardlinks oder besser Verknüpfungen erstellen lassen?
Hallo zusammen,
angenommen ich möchte massenhafte Dateiduplikate entweder durch Hardlinks oder Verknüpfungen ersetzen, um Speicherplatz zu sparen. Die Dateiduplikate sind inhaltlich identisch, haben aber teilweise verschiedene Dateinamen, und liegen auf unterschiedlichste Ordner verteilt auf einer Festplatte, bzw. auf einem Netzlaufwerk.
Ich nehme an, sowohl bei der Erstellung von Hardlinks als auch Verknüpfungen würden etwa unterschiedliche Dateinamen von Duplikaten beibehalten, es würden lediglich sämtliche Duplikate auf ein und dasselbe Original verweisen?
Welche der beiden Varianten wäre wohl robuster, Hardlinks oder Verknüpfungen?
Ich denke, Verknüpfungen wären robuster, da diese auch beim Kopieren von Ordnern oder des gesamten Dateisystems auf ein anderes Laufwerk erhalten bleiben sollten, und dank des Distributed Link Tracking Feature von Windows das jeweilige Ziel dann automatisch wiederfinden?
Hardlinks lassen sich meines Wissens nicht (ohne spezielle Tools) auf ein anderes Laufwerk oder ein anderes Dateisystem kopieren, es würden wohl stattdessen die Dateiduplikate beim Kopieren wieder neu erzeugt.
Folglich sollte ich mich hier wohl für Verknüpfungen und nicht für Hardlinks entscheiden?
Vielen Dank für Meinungen, ob dies so zutrifft.
angenommen ich möchte massenhafte Dateiduplikate entweder durch Hardlinks oder Verknüpfungen ersetzen, um Speicherplatz zu sparen. Die Dateiduplikate sind inhaltlich identisch, haben aber teilweise verschiedene Dateinamen, und liegen auf unterschiedlichste Ordner verteilt auf einer Festplatte, bzw. auf einem Netzlaufwerk.
Ich nehme an, sowohl bei der Erstellung von Hardlinks als auch Verknüpfungen würden etwa unterschiedliche Dateinamen von Duplikaten beibehalten, es würden lediglich sämtliche Duplikate auf ein und dasselbe Original verweisen?
Welche der beiden Varianten wäre wohl robuster, Hardlinks oder Verknüpfungen?
Ich denke, Verknüpfungen wären robuster, da diese auch beim Kopieren von Ordnern oder des gesamten Dateisystems auf ein anderes Laufwerk erhalten bleiben sollten, und dank des Distributed Link Tracking Feature von Windows das jeweilige Ziel dann automatisch wiederfinden?
Hardlinks lassen sich meines Wissens nicht (ohne spezielle Tools) auf ein anderes Laufwerk oder ein anderes Dateisystem kopieren, es würden wohl stattdessen die Dateiduplikate beim Kopieren wieder neu erzeugt.
Folglich sollte ich mich hier wohl für Verknüpfungen und nicht für Hardlinks entscheiden?
Vielen Dank für Meinungen, ob dies so zutrifft.
-
- Site Admin
- Posts: 4049
- Joined: 04 Oct 2004, 18:38
- Location: Thailand
- Contact:
Re: Hardlinks oder besser Verknüpfungen erstellen lassen?
Im Prinzip haben Sie Ihre Frage schon selbst beantwortet.
Nach Ihrer Beschreibung zu urteilen sollten Sie Verknüpfungen verwenden.
Nach Ihrer Beschreibung zu urteilen sollten Sie Verknüpfungen verwenden.
Re: Hardlinks oder besser Verknüpfungen erstellen lassen?
Besten Dank für die schnelle Antwort!
Was wären denn (in anderen Fällen) Gründe, Hardlinks anstelle von Verknüpfungen zu verwenden?
Was wären denn (in anderen Fällen) Gründe, Hardlinks anstelle von Verknüpfungen zu verwenden?
Re: Hardlinks oder besser Verknüpfungen erstellen lassen?
Da Verknüpfungen nicht viel Speicherplatz benötigen, kann man nicht pauschal "Der gesparte Speicherplatz" antworten.
Verknüpfungen passen sich nicht automatisch an, wenn man die Dateien verschiebt, auf die sie zeigen.
Bei Hardlinks braucht man sich nicht um eine manuelle Korrektur zu kümmern, das macht das Betriebssystem für den geneigten User. Ergo, weniger Arbeit beim Umbenennen oder Verschieben vieler Dateien.
Hardlinks sind auch praktisch, da sie wie eine echte Datei wirken, Verknüpfungen sind .... Verknüpfungen ;-)
Ich meine, es ist Sache der pers. Präferenz und von Fall zu Fall neu zu bewerten.
Ein Szenario, das ich gerade hatte:
Tausende von Grafikdateien (Straßenschilder, Pfeile, etc.) in diversen Unter-Unter-Ordnern, wobei jede Grafik in mehreren Ordnern enthalten sein kann/darf/muss.
Hier macht das Ersetzten durch Hardlinks viel Sinn, da man im Explorer -wie oben erwähnt- wild umherverschieben und umbenennen kann, ohne später Links/Verknüpfungen aktualisieren zu müssen.
Re: Hardlinks oder besser Verknüpfungen erstellen lassen?
Ich stimme zu, dass Hardlinks bequemer und sauberer sind, da es überhaupt nicht auffällt, dass es sich um "Links" und nicht um die "tatsächlichen Dateien" handelt. In der Tat ist es ja sogar so, dass weder User noch OS Hardlinks von "tatsächlichen Dateien" unterscheiden können.
Allerdings scheinen mir Verknüpfungen immer noch robuster zu sein, da diese (im Gegensatz zu Hardlinks) auch beim Kopieren von Ordnerstrukturen auf ein anderes Laufwerk erhalten bleiben (es sei denn man benutzt zum Kopieren spezielle Tools wie z.B. Link Shell Extension mit Smart Copy.
Außerdem hab ich schon mal ausprobiert, dass dank des Distributed Link Tracking Feature von Windows bei Verknüpfungen sowohl die Verknüpfungsquelle als auch das Verknüpfungsziel verschoben oder umbenannt werden kann, und Windows findet trotzdem noch die Verknüpfung zwischen den beiden.
Allerdings scheinen mir Verknüpfungen immer noch robuster zu sein, da diese (im Gegensatz zu Hardlinks) auch beim Kopieren von Ordnerstrukturen auf ein anderes Laufwerk erhalten bleiben (es sei denn man benutzt zum Kopieren spezielle Tools wie z.B. Link Shell Extension mit Smart Copy.
Außerdem hab ich schon mal ausprobiert, dass dank des Distributed Link Tracking Feature von Windows bei Verknüpfungen sowohl die Verknüpfungsquelle als auch das Verknüpfungsziel verschoben oder umbenannt werden kann, und Windows findet trotzdem noch die Verknüpfung zwischen den beiden.
Re: Hardlinks oder besser Verknüpfungen erstellen lassen?
Ich stimme zu, dass Hardlinks bequemer und sauberer sind, da es überhaupt nicht auffällt, dass es sich um "Links" und nicht um die "tatsächlichen Dateien" handelt. In der Tat ist es ja sogar so, dass weder User noch OS Hardlinks von "tatsächlichen Dateien" unterscheiden können.
Allerdings scheinen mir Verknüpfungen immer noch robuster zu sein, da diese (im Gegensatz zu Hardlinks) auch beim Kopieren von Ordnerstrukturen auf ein anderes Laufwerk erhalten bleiben (es sei denn man benutzt zum Kopieren spezielle Tools wie z.B. Link Shell Extension mit Smart Copy).
Außerdem hab ich schon mal ausprobiert, dass dank des Distributed Link Tracking Feature von Windows bei Verknüpfungen sowohl die Verknüpfungsquelle als auch das Verknüpfungsziel verschoben oder umbenannt werden kann, und Windows findet trotzdem noch die Verknüpfung zwischen den beiden.
Allerdings scheinen mir Verknüpfungen immer noch robuster zu sein, da diese (im Gegensatz zu Hardlinks) auch beim Kopieren von Ordnerstrukturen auf ein anderes Laufwerk erhalten bleiben (es sei denn man benutzt zum Kopieren spezielle Tools wie z.B. Link Shell Extension mit Smart Copy).
Außerdem hab ich schon mal ausprobiert, dass dank des Distributed Link Tracking Feature von Windows bei Verknüpfungen sowohl die Verknüpfungsquelle als auch das Verknüpfungsziel verschoben oder umbenannt werden kann, und Windows findet trotzdem noch die Verknüpfung zwischen den beiden.
Re: Hardlinks oder besser Verknüpfungen erstellen lassen?
Ich glaube, das hast du Missverstanden, oder ich missinterpretiere Deine Aussage ;-) Wir sprechen bestimmt vom Selben nur aus anderen Richtungen...David.P wrote: ↑23 Apr 2020, 16:11In der Tat ist es ja sogar so, dass weder User noch OS Hardlinks von "tatsächlichen Dateien" unterscheiden können.
Das OS, eher wohl das Dateisystem, muss ja immer wissen was nun hinter einer Datei steht, die der User zu Gesicht bekommt, denn sonst gäbe es die Option "Anzahl der Hardlinks pro Datei ermitteln" nicht in AllDup.
Ok, das war mir nicht bewusst! In der Tat habe ich die genannten LinkShellExtensions auch installiert und -glaube auch- das ich sie -ab und an- nutze zum Linkerstellen...David.P wrote: ↑23 Apr 2020, 16:11Allerdings scheinen mir Verknüpfungen immer noch robuster zu sein, da diese (im Gegensatz zu Hardlinks) auch beim Kopieren von Ordnerstrukturen auf ein anderes Laufwerk erhalten bleiben (es sei denn man benutzt zum Kopieren spezielle Tools wie z.B. Link Shell Extension mit Smart Copy).
Tja, da bin ich aussen vor mit meiner Win7 Pro installation für Privathaushalte und ohne Domänenzugang.David.P wrote: ↑23 Apr 2020, 16:11Außerdem hab ich schon mal ausprobiert, dass dank des Distributed Link Tracking Feature von Windows bei Verknüpfungen sowohl die Verknüpfungsquelle als auch das Verknüpfungsziel verschoben oder umbenannt werden kann, und Windows findet trotzdem noch die Verknüpfung zwischen den beiden.
Danke ob der Auffrischung meines Wissenstandes!
Re: Hardlinks oder besser Verknüpfungen erstellen lassen?
Also meines Wissens ist es so, dass jede einzelne Datei, die z.b. im Windows Explorer angezeigt wird, auch schon ein "Hardlink" ist.goldkante wrote: ↑23 Apr 2020, 23:36Das OS, eher wohl das Dateisystem, muss ja immer wissen was nun hinter einer Datei steht, die der User zu Gesicht bekommt, denn sonst gäbe es die Option "Anzahl der Hardlinks pro Datei ermitteln" nicht in AllDup.David.P wrote: ↑23 Apr 2020, 16:11In der Tat ist es ja sogar so, dass weder User noch OS Hardlinks von "tatsächlichen Dateien" unterscheiden können.
Wenn man dann einen Hardlink auf diese Datei erstellt, gibt es anschließend einfach zwei Hardlinks auf denselben Dateiinhalt. Aber diese beiden Hardlinks sind weder für das OS noch für den User unterscheidbar.
Wie genau Alldup dennoch herausfindet, dass es keine zwei identischen Dateien sind, sondern zwei Hardlinks auf denselben Dateiinhalt, weiß ich allerdings auch nicht.
Re: Hardlinks oder besser Verknüpfungen erstellen lassen?
Unter Linux ist diese Information in den Inodes gespeichert, soweit meine Erinnerung mich nicht täuscht.
Windows wird ähnliches bieten, so das man "nur" abfragen muss und nicht über die komplette Platte jagen muss ...ist aber schon einige Jahre her, dass ich mit Dateisystemprogrammierung zu tun hatte. Wer weiß schon, was es heutzutage alles wundersames in der IT-Welt gibt :-)
Hier noch eine Erklärung für Menschen wie uns (inklusive Schaubild) :-)
"Der Unterschied zwischen Hard- und Softlinks liegt darin, dass ein Softlink ein Link auf die Ursprungsdatei, ein Hardlink jedoch ein weiterer Link von der Ursprungsdatei ist."
Re: Hardlinks oder besser Verknüpfungen erstellen lassen?
Hallo,
ich wollte das eingangs genannte Szenario jetzt mal ausprobieren mit einem Ordner, der diverse Duplikate von diversen Dateien in jeweils unterschiedlichen Unterordnern enthält.
Wenn ich aus den Duplikaten vor dem Löschen Shortcuts erstellen lasse, funktioniert alles.
Möchte ich aber aus den Duplikaten vor dem Löschen Hardlinks erstellen, funktioniert es mit keiner einzigen Datei. Es kommt stattdessen für jedes Dateiduplikat die folgende Fehlermeldung:
No source file could be found to create hard links for the files in the group 'PDF'!
Woran könnte das wohl liegen, und wie gelingt es mir, Hardlinks erstellen zu lassen?
Hab es nochmals mit einem anderen Ordner probiert, mit demselben Ergebnis.
Hier noch die Log-Datei:
ich wollte das eingangs genannte Szenario jetzt mal ausprobieren mit einem Ordner, der diverse Duplikate von diversen Dateien in jeweils unterschiedlichen Unterordnern enthält.
Wenn ich aus den Duplikaten vor dem Löschen Shortcuts erstellen lasse, funktioniert alles.
Möchte ich aber aus den Duplikaten vor dem Löschen Hardlinks erstellen, funktioniert es mit keiner einzigen Datei. Es kommt stattdessen für jedes Dateiduplikat die folgende Fehlermeldung:
No source file could be found to create hard links for the files in the group 'PDF'!
Woran könnte das wohl liegen, und wie gelingt es mir, Hardlinks erstellen zu lassen?
Hab es nochmals mit einem anderen Ordner probiert, mit demselben Ergebnis.
Hier noch die Log-Datei:
Code: Select all
25.09.2021 00:02:38 - INFO: Unable to detect the VLC Media Player 32-bit version 3 on your system
25.09.2021 00:02:39 - --------------------------------------------------
25.09.2021 00:02:39 - AllDup 4.4.56 PE
25.09.2021 00:02:39 - Search method: File extension + File size + File content + File last modified date
25.09.2021 00:02:39 - Comparison method: Byte by Byte
25.09.2021 00:02:39 - Match: 100%
25.09.2021 00:02:39 - 1.Source folder: C:\Temp-C\H15-D-fresh.compacted.works
25.09.2021 00:02:39 - Option: Compare files from all source folders
25.09.2021 00:02:39 - Determine file count of all source folders...
25.09.2021 00:02:39 - File count: 160
25.09.2021 00:02:39 - Scan: C:\Temp-C\H15-D-fresh.compacted.works
25.09.2021 00:02:39 - Files filtered: 2
25.09.2021 00:02:39 - Found 134 duplicates with a total of 302,57 MB inside folder 'C:\Temp-C\H15-D-fresh.compacted.works'
25.09.2021 00:02:39 - Scanned files: 160
25.09.2021 00:02:39 - Groups: 67
25.09.2021 00:02:39 - File comparison count: 67
25.09.2021 00:02:39 - Duplicates: 134 (83%) (302,57 MB)
25.09.2021 00:02:39 - Elapsed time: 00:00:01
25.09.2021 00:04:04 - --------------------------------------------------
25.09.2021 00:04:04 - Action 'Delete files' started.
25.09.2021 00:04:04 - No source file could be found to create hard links for the files in the group 'XML'!
25.09.2021 00:04:04 - Code: 1
25.09.2021 00:04:16 - DELETED: C:\Temp-C\H15-D-fresh.compacted.works\backup2\counters\counts-2020-06.xml
25.09.2021 00:04:16 - No source file could be found to create hard links for the files in the group 'XML'!
25.09.2021 00:04:16 - Code: 1
25.09.2021 00:04:19 - Action 'Delete files' canceled.
25.09.2021 00:04:19 - Files deleted: 1 of 67
25.09.2021 00:04:43 - --------------------------------------------------
25.09.2021 00:04:43 - Action 'Delete files' started.
25.09.2021 00:04:43 - No source file could be found to create hard links for the files in the group 'XML'!
25.09.2021 00:04:43 - Code: 1
25.09.2021 00:04:45 - Action 'Delete files' canceled.
25.09.2021 00:04:45 - Files deleted: 0 of 67
-
- Site Admin
- Posts: 4049
- Joined: 04 Oct 2004, 18:38
- Location: Thailand
- Contact:
Re: Hardlinks oder besser Verknüpfungen erstellen lassen?
Es müssen mindestens 2 Dateien in einer Gruppe ausgewählt sein.
Siehe Hinweise für Hardlinks in der Dokumentation.
Siehe Hinweise für Hardlinks in der Dokumentation.
Re: Hardlinks oder besser Verknüpfungen erstellen lassen?
Vielen Dank für die schnelle Antwort.
Also sollte ich in diesem Fall in jeder Gruppe alle Dateien auswählen, wenn ich also Hardlinks aller gelöschten Dateien erstellen lassen möchte?
Da Alldup ja automatisch eine der Dateien als Quelldatei auswählt und alle anderen löscht.
So richtig?
Edit: habe es jetzt auf einen Ordner mit 13 GB und nachweislich tausenden von Duplikaten angewendet, und es wurden gemäß Log auch entsprechend Tausende von Duplikaten im Umfang von 11 GB gelöscht und jeweils Hardlinks erzeugt.
Aber die Größe des Ordners hat nicht um ein einziges Bit abgenommen. Die "Größe auf dem Datenträger" hat sogar zugenommen!
Wenn ich dann nach dem Löschen der Duplikate einen zweiten Suchlauf durchführe, dann werden sämtliche Duplikate des ersten Durchlaufs erneut gefunden (obwohl die Option "keine Hardlinks inhaltlich vergleichen" aktiviert ist).
Woran könnte das liegen?
Also sollte ich in diesem Fall in jeder Gruppe alle Dateien auswählen, wenn ich also Hardlinks aller gelöschten Dateien erstellen lassen möchte?
Da Alldup ja automatisch eine der Dateien als Quelldatei auswählt und alle anderen löscht.
So richtig?
Edit: habe es jetzt auf einen Ordner mit 13 GB und nachweislich tausenden von Duplikaten angewendet, und es wurden gemäß Log auch entsprechend Tausende von Duplikaten im Umfang von 11 GB gelöscht und jeweils Hardlinks erzeugt.
Aber die Größe des Ordners hat nicht um ein einziges Bit abgenommen. Die "Größe auf dem Datenträger" hat sogar zugenommen!
Wenn ich dann nach dem Löschen der Duplikate einen zweiten Suchlauf durchführe, dann werden sämtliche Duplikate des ersten Durchlaufs erneut gefunden (obwohl die Option "keine Hardlinks inhaltlich vergleichen" aktiviert ist).
Woran könnte das liegen?
-
- Site Admin
- Posts: 4049
- Joined: 04 Oct 2004, 18:38
- Location: Thailand
- Contact:
Re: Hardlinks oder besser Verknüpfungen erstellen lassen?
Ja
Dann wurde dies von dem verwendeten Programm "falsch" berechnet...Aber die Größe des Ordners hat nicht um ein einziges Bit abgenommen. Die "Größe auf dem Datenträger" hat sogar zugenommen!
die Option "Keine Hardlinks inhaltlich vergleichen" bedeutet auch nur dass der Inhalt nicht verglichen wird...Wenn ich dann nach dem Löschen der Duplikate einen zweiten Suchlauf durchführe, dann werden sämtliche Duplikate des ersten Durchlaufs erneut gefunden (obwohl die Option "keine Hardlinks inhaltlich vergleichen" aktiviert ist).
Re: Hardlinks oder besser Verknüpfungen erstellen lassen?
O.k. danke. Ich sehe beim zweiten Scan auch, dass alle Duplikate (sowie das Original) bereits als Hardlink erscheinen.
Es scheint gar nicht so einfach zu sein, die tatsächliche Größe eines Ordners zu ermitteln, habe das schon mit diversen Tools probiert wie z.B. Wiztree etc.
Wäre dankbar für etwaige Tipps, mit welchem Tool ich die tatsächliche (physische) Größe eines Ordners anzeigen lassen kann.
Viele Grüße
Es scheint gar nicht so einfach zu sein, die tatsächliche Größe eines Ordners zu ermitteln, habe das schon mit diversen Tools probiert wie z.B. Wiztree etc.
Wäre dankbar für etwaige Tipps, mit welchem Tool ich die tatsächliche (physische) Größe eines Ordners anzeigen lassen kann.
Viele Grüße
-
- Site Admin
- Posts: 4049
- Joined: 04 Oct 2004, 18:38
- Location: Thailand
- Contact:
Re: Hardlinks oder besser Verknüpfungen erstellen lassen?
kommerzeille Tools wie z.b. TreeSize können das optional, oder man verwendet freie Tools wie z.b.: Disk Usage von MS