Menge bestimmter Einträge in einer Datei filtern (Allgemeines zu Perl)

[thread]13846[/thread]

Menge bestimmter Einträge in einer Datei filtern

Leser: 24

Articles: hide open all | hide show old branches

+8 replies

Rambo

2009-08-11 11:18

User since
2003-08-14
803 Artikel
BenutzerIn

user image

Hallo zusammen,

ich möchte eine Datei mit ca. 150.000 einträgen einlesen und anschliessend nach bestimmten Kriterien durchsuchen und mir die Anzahl der gefundenen Kriterien ausgeben lassen.

Beispiel des Inhaltes der Datei:

Code: (dl )

Message = NPU$xy123/08Aug12344,ABS
Message = NPU$xy123/08Aug12344,ASR
Message = NPU$xy123/08Aug12344,ASR
Message = NPU$xy123/08Aug12344,ABS09
Message = NPU$xy123/08Aug12344,ACT12
Message = NPU$xy123/08Aug12344,ABS
Message = NPU$xy123/08Aug12344,ASR/88
Message = NPU$xy123/08Aug12344,ANTI
Message = NPU$xy123/08Aug12344,ANTI2

Resultat sollte sein:

Code: (dl )

ABS = 3
ACT = 1
ASR = 3
ANTI = 2

Ich suche also in der Datei nach den Wörtern ABS, ACT ASR, ANTI und möchte dann wissen wie häufig diese vorkommen.

Wie gehe ich da am besten vor?
Bin für jeden Tipp dankbar

Besten Dank
Remo

GwenDragon

2009-08-11 11:40
User since
2005-01-17
14790 Artikel
Admin1
Zeilenweise einlesen
In jeder Zeile nach dem Wort suchen
Bei Auffinden des Worts in Hash den Zähler erhöhen also bswp. so:
Code: (dl )

$found{'ABS'}++
Reicht dir das als Information!? ;)
Ansonsten bitte weiter bei uns fragen.
die Drachin Gwen

Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
+6 replies

topeg

2009-08-11 11:54

User since
2006-07-10
2611 Artikel
BenutzerIn

user image

So kann man das machen:

Code (perl): (dl )

#!/usr/bin/perl
use strict;
use warnings;

my %keys;

while(my $line=<DATA>)
{
  $keys{$1}++ if($line=~/,(.+?)$/);
}

while (my ($key,$val)= each(%keys))
{
  print "$key = $val\n";
}

__DATA__
Message = NPU$xy123/08Aug12344,ABS
Message = NPU$xy123/08Aug12344,ASR
Message = NPU$xy123/08Aug12344,ASR
Message = NPU$xy123/08Aug12344,ABS09
Message = NPU$xy123/08Aug12344,ACT12
Message = NPU$xy123/08Aug12344,ABS
Message = NPU$xy123/08Aug12344,ASR/88
Message = NPU$xy123/08Aug12344,ANTI
Message = NPU$xy123/08Aug12344,ANTI2

+5 replies

Rambo

2009-08-11 14:11

User since
2003-08-14
803 Artikel
BenutzerIn

user image

Hallo zusammen,

vielen Dank für die Beispiele.
Ich habe jetzt auf Grundlage von topeg das hier draus gemacht und es funktioniert genau wie gewünscht.

Code: (dl )

# -----------------------------------------------------------------------------
# File name        : sort_list.pl
# Location         : FRA
# Last edited by   : 
# Last Checkin     : 11.08.2009
# Revision         : 0.1
# -----------------------------------------------------------------------------
# History:
#
#
# 11.08.2009  first version
#
# -----------------------------------------------------------------------------
#
#
#
# Last change: 11.08.2009 XXX
#
################################################################################
#
#
# ------------------------------------------------------------------
# Loaded Modules
# ------------------------------------------------------------------
use strict;
use warnings;
use threads;
use threads::shared;
#
#
# ------------------------------------------------------------------
# File open
# ------------------------------------------------------------------
open (OUT, "<result_NPU_org.txt") or die $!;
#
#
# ------------------------------------------------------------------
# Search Strings
# ------------------------------------------------------------------
my @string = qw (FQTV PSPT SNR BAGL BAGT UPG MSG);
#
#
# ------------------------------------------------------------------
# Start threads
# ------------------------------------------------------------------
my $StopDotPrintFlag : shared;
   $StopDotPrintFlag = 0;
my $Interval = 1;
my $DotPrintThread=threads->new(\&DotPrintThread, $Interval);

sub DotPrintThread 
   {
    my ($Interval, @Trash) = @_;
    use IO::Handle;
    autoflush STDOUT 1;
    my $IntervalCount=0; 
    print "\n\tpls. wait getting data ";
    while ($StopDotPrintFlag != 2) 
         { 
          if ($StopDotPrintFlag == 1) 
            { 
              print STDOUT ".";
            }
          $IntervalCount++;
          sleep $Interval;
         }
          return $IntervalCount;
   }
#
#
# ------------------------------------------------------------------
# start search
# ------------------------------------------------------------------
my %keys;
while (my $line=<OUT>) 
     {
      for my $string (@string) 
         {
          $keys{$1}++ if($line=~ /,($string)/);
         }
       $StopDotPrintFlag = 1; #Stop threads
     }
#
#
# ------------------------------------------------------------------
# get search result
# ------------------------------------------------------------------
while (my ($key,$val)= each(%keys)) 
     {
       print "\n$key = $val\n";
     }
#
#
# ------------------------------------------------------------------
# File close
# ------------------------------------------------------------------
close OUT;
#
#
#****************************
# End of Script
#****************************

Merci vielmals

Beste Grüsse
Remo

+4 replies
topeg

2009-08-11 15:14
User since
2006-07-10
2611 Artikel
BenutzerIn
keine Ahnung ob das wichtig ist, aber der reguläre Ausdruck wird eventuell das falsche matchen.
Wenn ich mir dein Beispiel der Datei ansehe, dann kommt es bei deiner Regexp zu Überschneidungen:
"ABS" wird auch auf "ABS09" matchen und "ASR" auch auf "ASR/88"

Darum hatte ich auch das "$" am ende um wirklich die ganze Zeile zu bekommen.

Ich würde den Zeile wie folgt schreiben:
Code (perl): (dl )

$keys{$string}++ if($line=~/,$string$/);
oder:
Code (perl): (dl )

1 2 3 4 5 6 7 8 9 10

# kommt sowas dabei heraus: # FQTV|PSPT|SNR|BAGL|BAGT|UPG|MSG # "|" bedeutet "oder" my $search=join('|',@string); my %keys; while (my $line=<OUT>) { $keys{$1}++ if($line=~ /,($search)$/); $StopDotPrintFlag = 1; #Stop threads }
- +2 replies
- Hagen
  
  2009-08-11 15:33
  User since
  2007-09-06
  233 Artikel
  BenutzerIn
  Code: (dl )
  
  1 2 3 4 5 6 7
  
  my $search=join('|',@string); my %keys; while (my $line=<OUT>) { $keys{$1}++ if($line=~ /,($search)$/); $StopDotPrintFlag = 1; #Stop threads }
  
  So mal eher als allgemeine Frage, muss ich Variablen initialisieren (in diesem Fall das $key{$1}++)? Meist(?)/hier funktioniert es auch ohne (bisher hatte ich damit noch keine Probleme, habe das aber meist eh gemacht). Aber ist das immer so bzw. macht Perl das automatisch z.B. durch ein my ...?
  Gruß
  Hagen
  - murphy
    
    2009-08-11 15:53
    
    User since
    2004-07-19
    1776 Artikel
    HausmeisterIn
    
    2009-08-11T13:33:51 Hagen
    [...]
    So mal eher als allgemeine Frage, muss ich Variablen initialisieren (in diesem Fall das $key{$1}++)?
    [...]
    
    Sofern man keinen expliziten Startwert angegeben hat sind skalare Variablen, die mit my deklariert wurden, und neu erstellte skalare Einträge in Hashes und Arrays auf undef initialisiert, lexikalische Hashes und Arrays sind leer.
    
    Als Operand unärer Inkrementierungs- oder Dekrementierungsoperatoren werden Skalare mit undefiniertem Wert ohne Warnung wie Skalare mit dem numerischen Wert Null behandelt.
    When C++ is your hammer, every problem looks like your thumb.
- Rambo
  
  2009-08-11 15:45
  
  User since
  2003-08-14
  803 Artikel
  BenutzerIn
  
  2009-08-11T13:14:36 topeg
  keine Ahnung ob das wichtig ist, aber Wenn ich mir dein Beispiel der Datei ansehe, dann kommt es bei deiner Regexp zu Überschneidungen:
  "ABS" wird auch auf "ABS09" matchen und "ASR" auch auf "ASR/88"
  
  Ja die Überschneidungen sollen so sein denn das was nach den suchstrings kommt will ich nicht wissen sondern nur den eingegebenen Parameter also ABS oder ASR beides würde 2 mal vorkommen und dieses Ergebnis wollte ich so haben.
  Trotzdem Danke für den Hinweis. :-)
  Vor allem ist es dank eurer Hilfe viel weniger Code als ich vermutet hatte.
  
  Merci und besten Gruss
  Remo

View all threads created 2009-08-11 11:18.