Datei Zeile für Zeile in neue, fortlaufende Txt speichern (Allgemeines zu Perl)

[thread]18960[/thread]

Datei Zeile für Zeile in neue, fortlaufende Txt speichern

Tags: perl5 Subroutinen regex Ähnliche Threads

Leser: 14

Articles: hide open all | hide show old branches

+11 replies
Nichtschwimmer

2014-03-12 15:52

User since
2014-03-12
5 Artikel
BenutzerIn

Hallo zusammen,

bitte erschlagt mich nicht, wenn ich es mir offensichtlich recht einfach mache und mein Problem hier darlege. Allerdings bin ich Wirtschaftsstudent und habe wirklich wenig, so richtig wenig Ahnung von Perl.
Für meine Masterarbeit muss ich einen größeren Datensatz (71 Mio Zeilen bearbeiten). Habe ihn mit Perl-Schnipseln, die ich hier im Forum zusammen gesammelt habe, bereits um ein paar Zeilen kürzen können.
Nun taucht folgendes Problem auf:

Mein Datensatz besteht eigentlich aus ca. 8 mio einzelnen Datensätzen, jeder besetzt 3 Zeilen.
Ich würde keine nach einem Kriterium (zB immer nach der 3. Zeile) die vorangegangen 3 Zeilen in eine neue Txt speichern. Die neuen Dateien müssen nicht fortlaufend nummeriert sein, das wäre mir komplett egal.

Bsp.:

product/productId: 6304952198
review/score: 2.0
review/text: As a listener to C2C, I was excited about...
product/productId: 6304952198
review/score: 4.0
review/text: This was a very interesting dvd...

Zeile 1-3 sollen in Beispiel1.txt
Zeile 4-6 in Beispiel2.txt gespeichert werden. Lässt sich da etwas mit einer Schleife machen? Was müsste ich genau nachlesen oder hat gar Jemand eine effiziente Idee parat?

VG,

Nichtschwimmer
Last edited: 2014-03-12 16:00:49 +0100 (CET)
- +7 replies
- Raubtier
  
  2014-03-12 16:27
  User since
  2012-05-04
  1070 Artikel
  BenutzerIn
  Das lässt sich zwar machen, ist aber eine schlechte Idee.
  
  Es ginge so:
  
  Code: (dl )
  
  1 2 3
  
  solange Dateiende nicht erreicht: 3 Zeilen einlesen die 3 Zeilen in eine Datei schrreiben
  
  Aber: 8 Millionen Datensätze (eben waren es noch 71 Mio?) ergibt 8 Millionen Dateien! Das ist nicht nur schrecklich ineffizient, da du bei jeder Datei einen Overhead vom Dateisystem hast und da so viele Dateioperationen alles furchtbar langsam machen würden, sondern du kannst ggf. in Limitationen des Dateisystems laufen (falls du z.B. noch FAT32 verwendest). Selbst wenn du nicht ins Limit läuft, würde ich das nicht empfehlen.
  
  Ich glaube daher, dass du eigentlich ein anderes Problem hast. Es sieht mir vielmehr so aus, als würdest du eigentlich eine Datenbank mit 3 Spalten anlegen wollen.
  Last edited: 2014-03-12 16:29:37 +0100 (CET)
  - +6 replies
  - Nichtschwimmer
    
    2014-03-12 16:33
    
    User since
    2014-03-12
    5 Artikel
    BenutzerIn
    
    ~71 Mio. Zeilen waren es ursprünglich. ~8 Mio. einzelne Datensätze. Einige Zeilen habe ich nun schon rausgeworfen anhand von Kriterien.
    
    Die Anzahl an Dateien dürfte nicht das Problem geben, lasse alles auf einer Virtuellen Maschine (Test Account Windows Azure) laufen mit 56 GB RAM Arbeitsspeicher und einigen GB freiem Speicher.
    
    Die aktuelle Txt. ist knapp 8GB groß, Overhead dürfte doch nicht so krass kratzen, oder?
    - +5 replies
    - GwenDragon
      
      2014-03-12 16:38
      
      User since
      2005-01-17
      14612 Artikel
      Admin1
      
      Bei NTFS ist die Grenze bei 4 294 967 295 Dateien.
      ich nehm mal an die VM benutzt NTFS.
      die Drachin Gwen
      
      Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
      - +2 replies
      - Nichtschwimmer
        
        2014-03-12 16:43
        
        User since
        2014-03-12
        5 Artikel
        BenutzerIn
        
        Tut sie. Dh 8 Mio. Textdateien würden laufen?
        
        Was mir noch nicht ganz klar ist, ist wie ich es hinbekomme, dass 3 Zeilen "zusammengefasst" werden und
        wie ich die entstehenden Dateien so benenne, dass er nicht überschreibt (oder anhängt, was ja noch weniger SInn machen würde)
        
        Raubtier
        
        2014-03-12 16:45
        
        User since
        2012-05-04
        1070 Artikel
        BenutzerIn
        
        Das ist die falsche Lösung für welches Problem du auch immer hast.
      - +2 replies
      - Raubtier
        
        2014-03-12 16:44
        
        User since
        2012-05-04
        1070 Artikel
        BenutzerIn
        
        Ja, es passt schon in moderne Dateisysteme. Sinnvoll ist es trotzdem nicht. Zum Beispiel hat man bei NTFS normalerweise sowas wie 4k Blockgröße. Und außerdem frage ich mich, wozu das gut sein soll, wenn die Dateinamen nicht mal irgendeine Bedeutung haben.
        
        Nichtschwimmer
        
        2014-03-12 16:46
        
        User since
        2014-03-12
        5 Artikel
        BenutzerIn
        
        Brauche es, weil ich in R das text mining package verwenden will und so wie ich es verstanden habe, erstellt er einen Corpus nur als Sammlung einzelner Dokumente. Diese einzelnen Dokumente versuche ich eben durch beschriebene Fragestellung zu erreichen.
- +3 replies
- renee
  
  2014-03-12 17:19
  User since
  2003-08-04
  14371 Artikel
  ModeratorIn
  Code: (dl )
  
  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
  
  #!/usr/bin/perl use strict; use warnings; open my $fh, '<', '/pfad/zur/datei' or die $!; local $/ = "\nproduct/productId"; while ( my $block = <$fh> ) { my $file = '/pfad/zur/ausgabe/' . $. . '.txt'; chomp $block; open my $out, '>', $file or die $!; print $out "product/productId" if $. != 1; print $out $block; close $out; } close $fh;
  
  (ungetestet - und ohne Beurteilung ob es für Deine Problemstellung notwendig ist diese vielen Dateien zu erstellen)
  
  Edit: Kleiner Hinweis: $. enthält immer den "Index" des eingelesenen Blocks. Siehe auch http://perldoc.perl.org/perlvar.html#Variables-rel...
  Last edited: 2014-03-12 17:20:56 +0100 (CET)
  OTRS-Erweiterungen (http://feature-addons.de/)
  Frankfurt Perlmongers (http://frankfurt.pm/)
  --
  
  Unterlagen OTRS-Workshop 2012: http://otrs.perl-services.de/workshop.html
  Perl-Entwicklung: http://perl-services.de/
  - +2 replies
  - Nichtschwimmer
    
    2014-03-12 18:07
    
    User since
    2014-03-12
    5 Artikel
    BenutzerIn
    
    Hey renee,
    
    habe es gerade mit einer Stichprobe ausprobiert und es funktioniert! An der Stelle - Tausend Dank! ;) Jetzt schau ich mal, was er beim Einsatz an der wichtigen Datei sagt ;)
    
    Danke Danke und nochmal Danke ;)!!
    - hlubenow
      
      2014-03-12 20:17
      
      User since
      2009-02-22
      875 Artikel
      BenutzerIn
      
      Also, ich bin sonst immer sehr großzügig, das heißt, ich gebe Leuten grundsätzlich Hinweise, wie sie das machen können, was sie wollen (wenn ich kann) und sage ihnen nicht, "tu' dies nicht, tu' das nicht".
      Aber hier muß ich sagen, Raubtier hat recht. 8 Mio. Dateien können nicht die Lösung sein.
      Wenn Du uns sagst, in welcher Weise Du letztendlich die Daten verarbeiten willst, könnten wir sicher einen technisch besseren Vorschlag machen.

View all threads created 2014-03-12 15:52.