Riesige Textdatei durchstöbern (Allgemeines zu Perl)

[thread]20457[/thread]

Riesige Textdatei durchstöbern

Tags: perl5 Ähnliche Threads

Leser: 18

Articles: hide open all | hide show old branches

+6 replies
peterb

2018-05-16 09:19

User since
2010-05-19
42 Artikel
BenutzerIn

Hi Community!

Ich habe ein Applikationslog, welches etwa alle 2 Stunden an die 100MB 450.000 Zeilen produziert. Leider gibt es darin viel Datenmüll und die wichtigen Infos für mich sind etwa 10.000 Zeilen.

Gibt es eine Möglichkeit, so eine Datei von Beginn an zu lesen und sich sozusagen den letzen Leseort zu merken?
Ein Ansatz ist vielleicht die Zeilen zu zählen und dann im nächsten Aufruf ab der zuletzt geendeten Zeile wieder anzufangen, aber ist das performant?

Vielen Dank für eure Tipps!
Rob
- haj
  
  2018-05-16 10:18
  
  User since
  2015-01-07
  557 Artikel
  BenutzerIn
  
  Man kann Perl selber zählen lassen, am schnellsten in Bytes:
  * tell FILEHANDLE liefert die aktuelle Position
  * seek FILEHANDLE,... positioniert auf eine gegebene Position, wahlweise "ab Anfang" oder "ab aktueller Position".
  
  Die Zeilennummern zählt Perl in der Variablen $. (auch $INPUT_LINE_NUMBER oder HANDLE->input_line_number( EXPR )), siehe perldoc perlvar, aber positionieren kann man damit nicht.
- GwenDragon
  
  2018-05-16 10:40
  
  User since
  2005-01-17
  14748 Artikel
  Admin1
  
  Kann je nach deinem Anwendungdesign sinnvoll sein, wenn du die letzte Leseposition in einer eigenen Datei merkst.
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
- +3 replies
- hlubenow
  
  2018-05-16 14:31
  
  User since
  2009-02-22
  875 Artikel
  BenutzerIn
  
  Ich würd's mal mit Tie::File probieren. Dann hast Du's, seltsamerweise unabhängig von der Größe, in einem Array, so daß das Zählen der Zeilen relativ einfach ist.
  Müßte man gucken, wie performant das ist. "seek", usw., wäre wahrscheinlich schneller, aber auch unbequemer.
  - +2 replies
  - GwenDragon
    
    2018-05-17 13:10
    
    User since
    2005-01-17
    14748 Artikel
    Admin1
    
    Tie::File hat aber einen Bug bei Unicode-Inhalten, der dann die Datei runiniert.
    die Drachin Gwen
    
    Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
    - rosti
      
      2018-05-17 14:46
      
      User since
      2011-03-19
      3475 Artikel
      BenutzerIn
      
      2018-05-17T11:10:26 GwenDragon
      Tie::File hat aber einen Bug bei Unicode-Inhalten, der dann die Datei runiniert.
      
      Ich hab mir jetzt mal den ProblemCode angeschaut und ich frage mich, wozu werden da die Handles einschließlich STDOUT auf ":utf8" gesetzt!?
      
      Wo doch mit den Daten in keinster Weise zeichenorieniert gearbeitet wird!
      
      MfG
      
      PS: Tie::File hat ein Problem mit einfachen \n und funktioniert auf meinem XP nur mit \r\n als Zeilenumbruch. Daß Tie::File spontan die Oktetten verändert kann ich nicht nachvollziehen.
      Last edited: 2018-05-17 15:01:50 +0200 (CEST)

View all threads created 2018-05-16 09:19.