Hallo,

ich habe mal eine allgemeine Frage zur Bearbeitung von großen Dateien (Dateien können bis zu 3 GB groß werden und haben bei 600 MB Größe schon 6 Mio Zeilen und die gewünschten Treffer liegen dann bei 2.500).

Greife ich dann am besten zuerst auf unix-tools zurück, wie (e)grep und dann zusätzlich noch eventuell awk oder soll ich wirklich jede Zeile über eine while-Schleife einlesen und nach Treffern suchen und speichern???

Danke.

So lange Du 'ne while-Schleife und keine for-Schleife einsetzt, ist das schon ok...

Ok, danke.

Habe es gerade auch mal probiert und zeitmäßig hält es sich bisher noch im Rahmen.

Mein Ansatz sieht bisher so aus:


Wieso ich allerdings mit $3 auf das Vorkommen in (Vorkommen.*) zugreifen muss verstehe ich nicht so ganz, weil ich doch mit (:?[0-9]*) angebe, dass dies als "normale" Gruppierung zu sehen ist.

[quote=Duff,17.07.2007, 15:10]Greife ich dann am besten zuerst auf unix-tools zurück, wie (e)grep und dann zusätzlich noch eventuell awk oder soll ich wirklich jede Zeile über eine while-Schleife einlesen und nach Treffern suchen und speichern???[/quote]
grep würde es nicht anders machen und jede Zeile, die matched, wohl-
möglich an eine Pipe weiterreichen, wo dann ein awk, sed, cut oder sonst
was die Zeile empfängt, verarbeitet und dann wieder zur nächsten Pipe
weiterreicht. Dann würde ich doch eher mit Perl mitteln arbeiten, denn
Textverarbeitung ist doch genau das, was man mit Perl machen möchte :)
Zudem wird mit jeder Pipe eine Subshell aufgemacht... das ist nicht so
schön.

Quote

(:?[0-9]*) angebe, dass dies als "normale" Gruppierung zu sehen ist.

Du meintest wohl eher (?:[0-9])...

[quote=Duff,17.07.2007, 16:10][...]
Wieso ich allerdings mit $3 auf das Vorkommen in (Vorkommen.*) zugreifen muss verstehe ich nicht so ganz, weil ich doch mit (:?[0-9]*) angebe, dass dies als "normale" Gruppierung zu sehen ist.[/quote]
Du schreibst (:?[0-9]*) = "Gespeicherte Gruppe: eventuell ein Doppelpunkt, dann beliebig oft eine Ziffer", meinst aber wohl (?:[0-9]*) = "Nicht gespeicherte Gruppe: Beliebig oft eine Ziffer".

Allerdings sind die Gruppenklammern in diesem Falle sowieso überflüssig. [0-9]* sollte ausreichen.

Stimmt, so war dass mit den nicht-einfangenden KLammern: (?:...).

Deshalb funktionierte auch noch meine suche, weil der : mit dem ? dahinter ja einmal oder keinmal vorkommen darf und bei mir nie vorkam.

Hi,

bei einem meiner Skripte stellte es sich als performanter heraus, die eigentlichen Daten mittels eines greps vorzufiltern, bevor ich sie dann in Perl auswerte...
Ich denke, dass käme auf einen Versuch im jeweiligen Arbeitsumfeld an...\n\n

<!--EDIT|Linuxer|1184749815-->

Dann werde ich wohl doch mal beide Varianten ausprobieren müssen, da die Meinungen hier ja unterschieldich sind.

[quote=Linuxer,17.07.2007, 23:31]Hi,

bei einem meiner Skripte stellte es sich als performanter heraus, die eigentlichen Daten mittels eines greps vorzufiltern, bevor ich sie dann in Perl auswerte...
Ich denke, dass käme auf einen Versuch im jeweiligen Arbeitsumfeld an...[/quote]
Es kommt auch immer darauf an, *wie* man es dann mit Perl realisiert...