perl one liner : Anzeigen der ersten und letzten Zeilen (Allgemeines zu Perl)

[thread]20376[/thread]

perl one liner : Anzeigen der ersten und letzten Zeilen

Tags: perl perl one liner Ähnliche Threads

Leser: 16

Articles: hide open all | hide show old branches

+13 replies
bora99

2017-09-25 16:49

User since
2009-12-05
54 Artikel
BenutzerIn

Ich versuche gerade die ersten N-Zeilen und die letzten N-Zeilen auszugeben

Anzeige der ersten 5 Zeilen
perl -ne '{print if ($. < 6) }' file

Anzeige der 1. und letzten Zeile
perl -ne 'BEGIN {print scalar <>} print if eof' file

Anzeige der ersten 5-Zeilen und der letzten 5-Zeilen
Ist es bei grossen Files ein Problem in ein Array zu lesen ?
perl -ne '{print if ($. < 6) }; push @arr, $_; @arr = @arr[@arr-5..$#arr]; END { print @arr } ' file
- rosti
  
  2017-09-25 17:06
  
  User since
  2011-03-19
  3561 Artikel
  BenutzerIn
  
  Große Dateien? Was nicht in den RAM passt wird ausgelagert. Ist nur ne Frage der Zeit, der Maschine und eine Frage des Algorithmus. 300 MB XML auf eine entsprechende Datenstruktur in den Hauptspeicher zu lesen kann schonmal 30 Sekunden dauern. Es gibt jedoch Algorithmen, die serialisieren dieselbe Datenstruktur in wenigen Sekunden.
  
  Schöne Grüße.
  http://blog.rolfrost.de/
  
  The art of steam.
- Linuxer
  
  2017-09-25 17:07
  
  User since
  2006-01-27
  3891 Artikel
  HausmeisterIn
  
  Definiere große Dateien.
  Wenn sie am Stück in den Speicher gelesen werden, dann belegen Sie diesen.
  Wenn nicht genug Speicher mehr frei ist, wird ausgelagert und es wird langsam...
  Im schlimmsten Fall liest Du eine Datei von der Festplatte und parallel dazu lagert der Speicher auf den Swap-Bereich auf der Festplatte aus...
  
  Ein Ansatz zum lesen der letzten X Zeilen wäre beispielsweise, an eine Stelle Y Bytes vor Dateiende zu springen und diesen Bereich einzulesen; dann darin nachschauen, wieviele Zeilenumbrüche da drin sind. Wenn die Anzahl mit dem gewünschten X übereinstimmt, kann man splitten und die gewünschten Zeilen ausgeben. Wenn nicht, liest man nochmal einen Bereich ein und wiederholt das Prozedere bis man die gewünschte Anzahl Zeilen hat.
  
  Die Vorgehensweisen hängen halt von den Dateien ab (Größe der Dateien, Länge der Zeilen, ...), inwiefern sich solche Konzepte rentieren.
  
  Alternativ könntest Du mit Tie::File die Datei an einen Array binden und über diesen Array dann die ersten und letzten X Zeilen ausgeben lassen. Die Datei sollte dabei auch nicht komplett in den Speicher gelesen werden...
  Last edited: 2017-09-25 17:08:31 +0200 (CEST)
  meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
  Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
- +2 replies
- Raubtier
  
  2017-09-25 19:11
  
  User since
  2012-05-04
  1081 Artikel
  BenutzerIn
  
  Für die hinteren Zeilen kannst du auch File::ReadBackwards oder vielleicht besser File::Tail nutzen.
  - Linuxer
    
    2017-09-25 19:45
    
    User since
    2006-01-27
    3891 Artikel
    HausmeisterIn
    
    Cool, was es nicht alles gibt. Die kannte ich noch nicht.
    meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
    Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
- Gast payx
  
  2017-09-26 18:36
  Hallo bora99,
  
  hier mein Vorschlag (gefragt war ja nach einem Einzeiler):
  
  Code: (dl )
  
  perl -ne 'if ($.<6) {print} else {shift @arr}; push @arr,$_; END {print @arr}' file
  
  Ganz ähnlich wie Dein Ansatz, nur dass hier das Array immer nur maximal 5 Elemente hat und also kein RAM-Problem entstehen sollte.
  
  HTH
  Viele Grüße
  payx
  Last edited: 2017-09-26 19:28:49 +0200 (CEST)
- +7 replies
- Gast Wastl
  
  2017-09-28 15:44
  Könnte man das nicht einfach so machen:
  
  Code: (dl )
  
  perl -e '@a=<>;print splice @a,1,5;print splice @a,-5,5' file
  
  Last edited: 2017-09-28 16:10:34 +0200 (CEST)
  - +6 replies
  - Linuxer
    
    2017-09-28 16:18
    
    User since
    2006-01-27
    3891 Artikel
    HausmeisterIn
    
    Kann man schon, man muss sich aber eben der Nebeneffekte klar sein.
    Wie schon gesagt, die Datei wird dabei komplett in den Array und damit in den Speicher eingelesen.
    Wenn die Datei groß ist und/oder wenig freier Arbeitsspeicher verfügbar ist, dann kann das veranlassen, dass Speicher ausgelagert wird (Swap).
    
    Ich würd's mit Tie::File oder den von Raubtier erwähnten File::ReadBackwards oder File::Tail probieren.
    meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
    Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
    - +5 replies
    - Gast payx
      
      2017-09-28 20:25
      
      2017-09-28T14:18:00 Linuxer
      Kann man schon, man muss sich aber eben der Nebeneffekte klar sein.
      Wie schon gesagt, die Datei wird dabei komplett in den Array und damit in den Speicher eingelesen.
      Wenn die Datei groß ist und/oder wenig freier Arbeitsspeicher verfügbar ist, dann kann das veranlassen, dass Speicher ausgelagert wird (Swap).
      Mein Vorschlag msg #187448 sollte RAM-sparsam sein.
      
      2017-09-28T14:18:00 Linuxer
      Ich würd's mit Tie::File oder den von Raubtier erwähnten File::ReadBackwards oder File::Tail probieren.
      In einem Einzeiler?
      Last edited: 2017-09-28 20:32:54 +0200 (CEST)
      - +4 replies
      - Linuxer
        
        2017-09-28 23:54
        
        User since
        2006-01-27
        3891 Artikel
        HausmeisterIn
        
        Zum ersten Kommentar:
        
        Ja, Dein Vorschlag schon, aber meine Antwort galt ja Wastl. Und der Ansatz spart nicht am RAM. Die gesamte Datei landet in dem Array.
        
        zur Frage nach dem Einzeiler:
        
        Einzeiler hindern doch nicht daran, ein Modul zu verwenden. Wenn sie den Job erledigen können, warum nicht verwenden?
        
        Code: (dl )
        
        perl -MTie::File -E "tie my @a, 'Tie::File', $ARGV[0]; say @a[0..4]; say @a[-5..-1]" lines.txt
        
        Last edited: 2017-09-28 23:56:02 +0200 (CEST)
        meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
        Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
        
        +2 replies
        
        rosti
        
        2017-09-29 07:15
        
        User since
        2011-03-19
        3561 Artikel
        BenutzerIn
        
        Wenn mit Tie::File einmal über die Zeilen der Datei iteriert wurde, liegt sie nachweislich im Hauptspeicher:
        
        Code (perl): (dl )
        
        1 2 3 4 5
        
        my $tf = tie my @array, 'Tie::File', "d:/tmp/TieUrlMap.php" or die; for(@array){ my $in = $_ }; print Dumper $tf; # Die ganze Datei liegt in der Instanz
        
        Also bitte nicht überbewerten dieses Modul. MfG
        http://blog.rolfrost.de/
        
        The art of steam.
        
        Linuxer
        
        2017-09-29 09:14
        
        User since
        2006-01-27
        3891 Artikel
        HausmeisterIn
        
        perldoc Tie::File
        The file is not loaded into memory, so this will work even for gigantic files.
        
        Das Modul stellt einen read-cache bereit, der konfigurierbar ist. Default-Größe ist 2 MB.
        Wenn Dein php-Skript kleiner ist, ist klar, dass die Datei komplett in den Speicher passt.
        
        Teste das bitte mal mit einem 24 GiB großen Logfile, ob Du dann immer noch die gesamte Datei im Speicher findest.
        
        Klar, damit landen kleine Dateien, wenn man mal komplett über ihre Zeilen iteriert hat, doch komplett im Speicher. Der Gedanke ist aber, was bei großen Dateien passsiert.
        meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
        Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
        
        Gast payx
        
        2017-10-03 14:18
        
        Hallo Linuxer,
        
        2017-09-28T21:54:52 Linuxer
        Einzeiler hindern doch nicht daran, ein Modul zu verwenden. Wenn sie den Job erledigen können, warum nicht verwenden?
        
        In diesem Fall, weil es wesentlich langsamer ist als meine einfache Lösung (Faktor 5 bei einer Datei mit 100.000.000 Zeilen und 1,86 GB).
        
        Außerdem soll ein Einzeiler ja möglichst kurz sein. Bei dieser Gelegenheit hier noch eine kürzere Fassung meines Vorschlags:
        
        Code: (dl )
        
        perl -ne '($.<6 and print) or shift @a; push @a,$_; END {print @a}' file
        
        2017-09-28T21:54:52 Linuxer
        
        Code: (dl )
        
        perl -MTie::File -E "tie my @a, 'Tie::File', $ARGV[0]; say @a[0..4]; say @a[-5..-1]" lines.txt
        
        Kleiner Verbesserungsvorschlag: nach say jeweils for einfügen, damit die Zeilen auch wirklich zeilenweise ausgegeben werden. (Auch wenn der Einzeiler dadurch noch etwas länger wird.)
        
        Viele Grüße
        payx
        Last edited: 2017-10-03 14:50:11 +0200 (CEST)

View all threads created 2017-09-25 16:49.