Geschwindigkeit Suche und Sortierung

[tha-frog]

Vor ein paar Tagen hatte ich etwas Probleme mit der Sortiergeschwindigkeit.
Nach der Suche wird die Liste "sortiert" und und die Programmoberfläche friert in dieser Zeit ein.

Auch ein späteres sortieren nach der Anzahl der Duplikate dauerte dann sehr lange, also über 60 min.

Heute ging es hingegen sehr schnell:
~ 250.000 Durchsuchte Dateien
~20.000 Duplikate in
~10.000 Gruppen,
gefunden und sortiert in
3 Minuten

Also dafür: Alle Daumen hoch

[tha-frog]

~ 744.000 Durchsuchte Dateien

~365.000 Duplikate in
~140.000 Gruppen,
gefunden in
4 h
und sortiert in weiteren 7,5 h.
OK, in dieser Zeit war das Programm nicht ansprechbar, aber es hat sauber durchgearbeitet und es sollte hier nicht von einem Programmabsturz ausgegangen werden, auch wenn das Programm "Keine Rückmeldung" in dieser Zeit liefert.

[Administrator]

Bei unserem Test wurden 163.050 Duplikate in 37334 Gruppen gefunden. Zeitaufwand für die Suche nach gleichen Dateinamen: 12:48 und 5:24 für die Sortierung. Je mehr Gruppen gefunden werden desto länger dauert die Sortierung. Leider bietet die Sortierungsfunktion der verwendeten Tabelle keine Möglichkeit für eine Fortschrittsanzeige.

[tha-frog]

12:48 und 5:24 Stunden oder Minuten?

Lässt sich dieser Sortiervorgang von der Programmoberfläche abkoppeln?
Optimal wäre die Sortierung dann zu pausieren oder ganz abbrechen zu können, falls gewünscht, ohne die Suche als solches zu verlieren.

Bei einem Test in Access (Excel gab hier bei > 65.000 Zeilen ja auf) war die Sortiergeschwindigkeit sehr viel größer

Evtl lässt sich also an der Sortiergeschwindigkeit noch etwas machen, sicher auch Hilfreich zur Arbeit mit dem Suchergebnis, da dort ja auch jeder Vorgang wie sortieren oder aus- / abwählen einige Zeit dauert.

Bin mal gespannt wie die Zeiten sind, wenn ich verschiedene Namen, gleiche Größe und gleicher Inhalt suche. Dann dürften die Zeiten wohl explodieren.

[Administrator]

12:48 und 5:24 Stunden oder Minuten?

Minuten:Sekunden

Lässt sich dieser Sortiervorgang von der Programmoberfläche abkoppeln?

Nein.

Bei einem Test in Access war die Sortiergeschwindigkeit sehr viel größer

Der Vergleich mit Excel sagt nichts aus, da Excel eine flache Liste verwendet und keine Baumstruktur und ausserdem verwendet Excel nicht das gleiche Tabellen-Control.

Bin mal gespannt wie die Zeiten sind, wenn ich verschiedene Namen, gleiche Größe und gleicher Inhalt suche.

Dies spielt keine Rolle. Wir haben festgestellt, dass nur die Anzahl der Gruppen ausschlaggebend ist.

Evtl lässt sich also an der Sortiergeschwindigkeit noch etwas machen

Ja. Wir haben bei unseren Test zufällig eine Möglichkeit entdeckt, viele Gruppen nach der Suche in ein paar Sekunden sortieren zu lassen. Dazu muss allerdings noch einiges im Programmcode geändert werden. Sollen ich Ihnen dann eine neue Testversion zukommen lassen?

[tha-frog]

Über eine Testversion freue ich mich immer, wenn möglich natürlich auch mit dem Wunsch aus "Sortieren nach Pfad - Markieren als "Beinhaltet Originale".

Vielen Dank für Ihre Mühe und den schnellen Support

[Administrator]

"Sortieren nach Pfad" ist nicht möglich. Dazu müsste die Darstellung des Suchergebnis komplett anderes strukturiert werden und es könnte keine Gruppen-Ordner mehr geben.

Nun zur Optimierung der Sortierungsgeschwindigkeit:

Der aktuelle Aufbau des Suchergebnisses:

Gruppe 1
- Duplikate
Gruppe 2
- Duplikate
...

Wenn diese Struktur jetzt wie folgt geändert wird:

Obergruppe
- Gruppe 1
-- Duplikate
- Gruppe 2
-- Duplikate
...

Durch die neue Struktur dauert die Sortiertung von 40.000 Gruppen mit insgesamt 400.000 Duplikaten nur noch 1-2 Sekunden! Und dies nur indem man die alte Struktur unterhalb eines neuen Ordners packt.

Ich habe dies Speedproblem auch dem Hersteller des Tabellen-Controls per Email gemeldet. Dieser berechnet allerdings schon alleine für die Beantwortung meiner Frage 250$! Dies beinhaltet dann noch nicht die Behebung diese Problems. Das wird dann wahrscheinlich wieder extra kosten. Da es sich hierbei um Freeware handelt, habe ich dankend abgelehnt.

Die Frage die sich hier stellt, ist es also ok diese neue Baumstruktur zu verwenden, damit die Sortierungsgeschwindigkeit schneller wird?

[tha-frog]

Hallo, hatte leider die letzten 14 Tage kein Internet mehr, kann mich daher erst jetzt wieder melden.

Im Prinzip würde doch gegen eine solche neue Struktur nichts sprechen.
Es müssten natürlich die ganzen Menüs angepasst werden.
Alle Auswahlmöglichkeiten die sich auf "Gruppen" beziehen dürften nicht auf die Obergruppe angewendet werden.
Wählt man zB. "Nur Gruppen aufklappen bei denen alle Dateien markiert sind" und das Programm klappt dann die Obergruppe (mit allen Untergruppen) zu, so wäre das nicht das gewünschte.

Evtl wäre es an dieser Stelle möglich dem Benutzer garnicht zu zeigen das es eine Obergruppe gibt. So dass diese Obergruppe nur Programm Intern verarbeitet wird.

[Administrator]

Die neue Version mit der Geschwindigkeitsoptimierung der Sortierung ist soweit fertig und kann getestet werden. Bitte per EMail mit Bezug auf dieses Thema melden, sofern jemand die neue Version testen möchte.