Text-Datei nach einer Variable durchsuchen (Allgemeines zu Perl)

[thread]18966[/thread]

Text-Datei nach einer Variable durchsuchen

Leser: 20

Articles: hide open all | hide show old branches

+9 replies
Gast KamelKraut

2014-03-15 10:21
Moin, Moin!
Ich bin relative neu in Perl und habe direkt mal eine Frage an euch! ;)

Wir haben eine riesen große Text-Datei voller Vor-und Nachnamen.
Bsp. der Text-Datei ("alle_namen.txt"):
Code: (dl )

1 2 3 4

John Lennon Paul McCartney George Harrison Ringo Starr
(das ganze natürlich 1000 mal größer!).

Jetzt haben wir eine Variable ("$test"), die entweder eins dieser Namen enthält, oder auch nicht. Und dies gilt es jetzt herauszufinden...
Code (perl): (dl )

1 2 3 4 5 6 7 8 9 10 11 12

$test = "Heute morgen sah ich Bruno Müller in der Schule!"; open (MYFILE, '<alle_namen.txt'); $alle_namen = (<MYFILE>); close (MYFILE); if($test =~ $alle_namen) { print "true\n" } else { print "false\n" };
...hier müsste also "false" geprintet werden.
Code (perl): (dl )

1 2 3 4 5 6 7 8 9 10 11 12

$test = "Ich finde dass Paul McCartney ein toller Musiker ist!"; open (MYFILE, '<alle_namen.txt'); $alle_namen = (<MYFILE>); close (MYFILE); if($test =~ $alle_namen) { print "true\n" } else { print "false\n" };
...hier müsste "true" geprintet werden.

Das ganze läuft so noch nicht! Was muss ich tun damit es läuft? :)

Danke schon mal an euch! LG! :)
Last edited: 2014-03-15 11:02:04 +0100 (CET)
- +5 replies
- pq
  
  2014-03-15 11:10
  
  User since
  2003-08-04
  12208 Artikel
  Admin1
  
  darf ich dir als erstes http://perl-tutorial.org/ (z.B. "Modern Perl - The Book") ans Herz legen?
  Da lernst du von Grund auf sauberes, modernes Perl.
  
  Jetzt eine Frage:
  $test =~ $alle_namen
  
  Was macht der Code?
  Er testet, ob der String in $test auf die Regex matcht, die in $alle_namen steht.
  Der Punkt ist nur, in $alle_namen steht keine Regex, oder besser gesagt, nicht die, die du möchtest.
  Erstmal steht in $alle_namen nur eine Zeile, da du mit $alle_namen = (<MYFILE>); eben nur eine Zeile ausliest.
  Zweitens steht am Ende der Zeile auch noch ein Newline, weshalb es gar nicht matchen wird, da im String $test eben kein Newline hinter dem Namen steht.
  
  Was du möchtest, ist: Matcht der String $test auf irgendeinen der Namen, die in der Datei stehen.
  Das kannst du auf zwei Wegen lösen:
  Entweder du gehst zeilenweise durch die Datei und versuchst du matchen, oder du bastelst eine Regex aus allen Namen. Das ist aber nicht damit getan, indem du einfach alle Namen hintereinander schreibst.
  Eine Regex würde so aussehen: m/(name1|name2|name3)/
  
  Ich schlage also vor, dass du erstmal ein bisschen Tutorial liest.
  Handelt es sich um eine Hausaufgabe?
  Last edited: 2014-03-15 11:12:15 +0100 (CET)
  Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
  lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
  - +4 replies
  - Gast KamelKraut
    
    2014-03-15 16:00
    
    Danke erstmal!
    Es handelt sich nicht um eine Hausaufgabe, aber es ist etwas "Schulverwandtes".
    Wäre es denn eine gute Idee aus diesen 10.000 Namen einen Regex zu basteln?
    Oder was würdest du denn am besten vorschlagen?
    Perl Tut wird momentan gelesen ;)
    Last edited: 2014-03-15 16:32:31 +0100 (CET)
    - +3 replies
    - Gast wer
      
      2014-03-15 17:28
      
      wenn du nach den namen suchst mach so was:
      
      Code (perl): (dl )
      
      1 2 3 4 5 6 7 8 9 10
      
      my @namen=<$fh>; chomp(@namen); @namen=sort{length($b) <> length($a) || $a cmp $b}@namen; # erst länge des namen, dann alphabetisch for my $name (@namen) { if($test=~/\Q$name\E/) { print "GEFUNDEN: $name\n"; } }
      
      Last edited: 2014-03-15 18:24:41 +0100 (CET)
      - +2 replies
      - Gast KamelKraut
        
        2014-03-15 19:47
        
        Da bekomme ich einen Syntax Error.
        Wie funktioniert das denn?
        Last edited: 2014-03-15 20:04:12 +0100 (CET)
        
        pq
        
        2014-03-15 20:06
        
        User since
        2003-08-04
        12208 Artikel
        Admin1
        
        mach mal aus dem <> in zeile 3 ein <=>. das ist der vergleichsoperator für zahlen.
        Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
        lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
- +3 replies
- Raubtier
  
  2014-03-15 22:57
  User since
  2012-05-04
  1075 Artikel
  BenutzerIn
  Abhängig davon, was du unter "riesig" verstehst, gäbe es auch noch die Möglichkeit, zunächst alle Namen in einen Hash zu lesen und dann abzutesten, ob ein Hash-Element existiert.
  
  Code wäre so:
  
  Code (perl): (dl )
  
  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
  
  use strict; use warnings; my %allNames; while (<DATA>) { chomp; $allNames{$_} = 1; } for my $testName ("John Lennon", "Raubtier", "Paule McC") { print "$testName ist " . ($allNames{$testName} ? "" : "nicht ") . "drin\n"; } __DATA__ John Lennon Paule McC
  
  Das ist insbesondere dann interessant, wenn du schnell für mehrere Namen herausfinden musst, ob diese vorhanden sind. Dazu sollte der Hash aber natürlich in den RAM passen.
  
  Um das für deinen Fall anzupassen, müsste man dann in dem Satz erst einmal einen Namen herausfinden. Da man nicht weiß, wie lang der Name ist, müsste man dann alles, was ein Name sein könnte, gegen den Hash testen. Wäre also schlecht für lange Sätze, da man dann entsprechend viele Vergleiche machen müsste. Andererseits sind Sätze vermutlich kurz und du müsstest ja sonst auch in dem Satz nach den Namen suchen...
  Last edited: 2014-03-15 23:05:00 +0100 (CET)
  - +2 replies
  - Gast KamelKraut
    
    2014-03-19 21:50
    
    Wie passt man denn den Hash dem RAM an?
    Last edited: 2014-03-19 22:15:12 +0100 (CET)
    - payx
      
      2014-03-20 09:22
      
      User since
      2006-05-04
      564 Artikel
      BenutzerIn
      
      Raubtier hat das umgekehrt gemeint: Der Hash hätte bei der von ihm vorgeschlagenen Vorgehensweise entsprechend Deiner Datenmenge, die Du etwas unspezifisch als "riesen groß" bezeichnet hast, ebenfalls eine riesige Größe. Die zu klärende Frage ist, ob die ganzen Daten gleichzeitig in den Arbeitsspeicher des Computers geladen werden können, an dem die Operation ausgeführt werden soll, oder nicht. Kleine Vorüberlegung: Eine Textdatei mit einer Million Namen dürfte schätzungsweise 20-30 MB haben. Das ist ja schon ganz schön riesig. Und der Hash in Perl wird natürlich noch größer. Trotzdem sollte das für den Arbeitsspeicher eines halbwegs zeitgemäßen Computers unproblematisch sein.

View all threads created 2014-03-15 10:21.