große Dateien in mehrere splitten (Allgemeines zu Perl)

renee

2004-02-12 09:56

User since
2003-08-04
14371 Artikel
ModeratorIn

Ich habe eine große Textdatei (~3,5GB), in der sehr viele Datensätze stehen. Diese Datensätze enden mit //.

So sehen die Datensätze aus:

Code: (dl )

ID dummy_id
AC ac_one
//
ID dummy2
AC ac2
//

Ich habe einen Parser geschrieben, der die Datensätze auswerten soll. Bei kleineren Dateien funktioniert das auch prima, aber bei dieser großen Datei funktioniert das nicht mehr.
Jetzt möchte ich diese große Datei in mehrere kleine Dateien aufteilen, wobei jeder Datensatz komplett bleiben muss. Wie mache ich das am besten??\n\n

OTRS-Erweiterungen (http://feature-addons.de/)
Frankfurt Perlmongers (http://frankfurt.pm/)
--

Unterlagen OTRS-Workshop 2012: http://otrs.perl-services.de/workshop.html
Perl-Entwicklung: http://perl-services.de/

kabel

2004-02-12 10:47

User since
2003-08-04
704 Artikel
BenutzerIn
[default_avatar]

wenn die immer so aussehen, dann schreib doch einfach ein zweites perl-skript, dass die datei alle 3*n zeilen splittet und in fortlaufend nummerierten "preparsed" dateien speichert. bei der gelegenheit kannst du den trenner entfernen, der ist hier sinnlos.

oder im gleichen skript, wobei der "preparser" immer den trenner entfernt, aber nur bei bedarf die datei spaltet (z.b. bei > 100MB).
die dateinamen wandern dann in ein array, auf das der zweite teil zugriff hat.

-- stefan

esskar

2004-02-12 11:50

User since
2003-08-04
7321 Artikel
ModeratorIn

user image

ließt du die 3,5 GB in ein Array?
oder liesst du zeile für zeile!

renee

2004-02-12 11:58

User since
2003-08-04
14371 Artikel
ModeratorIn

Ich lese Blockweise (Trenner //) ein. Dann pushe ich den Block in ein Array. Habe es mittlerweile so gelöst, dass ich alle 30000 Blöcke mit dem Array weiterarbeite, dann die Elemente aus dem Array lösche und so weiter...

OTRS-Erweiterungen (http://feature-addons.de/)
Frankfurt Perlmongers (http://frankfurt.pm/)
--

Unterlagen OTRS-Workshop 2012: http://otrs.perl-services.de/workshop.html
Perl-Entwicklung: http://perl-services.de/

ptk

2004-02-12 12:07

User since
2003-11-28
3645 Artikel
ModeratorIn
[default_avatar]

Wenn du perl mit USE_LARGE_FILES baust, sollte die grosse Datei eigentlich kein Problem darstellen.

renee

2004-02-12 12:19

User since
2003-08-04
14371 Artikel
ModeratorIn

Könntest Du das bitte genauer erläutern?!?

OTRS-Erweiterungen (http://feature-addons.de/)
Frankfurt Perlmongers (http://frankfurt.pm/)
--

Unterlagen OTRS-Workshop 2012: http://otrs.perl-services.de/workshop.html
Perl-Entwicklung: http://perl-services.de/

ptk

2004-02-12 12:51

User since
2003-11-28
3645 Artikel
ModeratorIn
[default_avatar]

Auf 32-Bit-Betriebssystemen gibt es beim Dateizugriff ueblicherweise eine Beschraenkung auf 2GB. Beim Compilieren von perl kann diese Beschraenkung umgangen werden, wenn die Option -Duselargefiles verwendet wird und das Betriebssystem ueberhaupt large-file-support besitzt. Mit "perl -V" kannst du erkennen, ob dein perl damit bereits uebersetzt wurde. Bei mir findet sich z.B. "-D_LARGEFILE_SOURCE -D_FILE_OFFSET_BITS=64" und "Compile-time options: USE_LARGE_FILES".

renee

2004-02-12 13:05

User since
2003-08-04
14371 Artikel
ModeratorIn

ist schon gesetzt...

OTRS-Erweiterungen (http://feature-addons.de/)
Frankfurt Perlmongers (http://frankfurt.pm/)
--

Unterlagen OTRS-Workshop 2012: http://otrs.perl-services.de/workshop.html
Perl-Entwicklung: http://perl-services.de/

Relais

2004-02-12 13:33

User since
2003-08-06
2246 Artikel
ModeratorIn

schon mal mit Tie::File probiert?\n\n

Erst denken, dann posten --
27. Deutscher Perl- u. Raku -Workshop (Termin wird noch gesucht) 2025 in München.

Winter is Coming

ptk

2004-02-12 14:17

User since
2003-11-28
3645 Artikel
ModeratorIn
[default_avatar]

[quote=Relais,12.Feb..2004, 12:33]schon mal mit Tie::File probiert?[/quote]
Lieber nicht. Eine <>-Schleife duerfte in diesem Fall *wesentlich* effizienter als Tie::File sein. Siehe auch hier