Durchlaufzeit von 2 verschachtelten foreach-schleifen optimieren (gelöst) (Allgemeines zu Perl)

[thread]18809[/thread]

Durchlaufzeit von 2 verschachtelten foreach-schleifen optimieren [gelöst]

Tags: perl5 Ähnliche Threads

Leser: 18

Articles: hide open all | hide show old branches

+6 replies
kimmy

2013-12-17 11:05
User since
2010-09-10
87 Artikel
BenutzerIn
Hallo Zusammen,

ich habe 2 relativ langen TXT-Dateien. Eine Text-Datei ist ein ganz normaler deutscher Artikel (ca. 40000 Zeilen). Die andere Datei ist eine Liste von Suffixe (Nomen, ADJ, etc.). Was ich haben möchte, ist der Inputdatei einzulesen und mit der Liste zu vergleichen. Mein Code sieht wie folgt aus:
Code (perl): (dl )

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

# Input-Datei open(my $input, '<', 'input_text.txt') or die; # Suffix-Liste open(my $suffix, '<', 'suffixe.txt') or die; my @suffix = <$suffix>; while(<input>){ chomp; my @segmente = split(/ /, $_); foreach my $segment(@segmente){ foreach my $suf(@suffix){ chomp $suf; if ($segment =~ /$suf$/i) { print "$suf\t$segment\n"; } } } }
Aber wie ich gesagt habe, da die Dateien relativ groß sind, dauert die Laufzeit lang. Hat jemand vielleicht eine Idee, wie ich die Durchlaufzeit spraren kann?
- pq
  
  2013-12-17 11:14
  
  User since
  2003-08-04
  12208 Artikel
  Admin1
  
  du könntest damit anfangen, gleich als erstes
  chomp(my @suffix = <$suffix>);
  zu machen und das chomp aus der schleife rausnehmen.
  desweiteren überlege, ob es möglich ist, die suffixes in eine regex zu packen und nur einen match zu machen.
  Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
  lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
- +3 replies
- Muffi
  
  2013-12-17 11:27
  User since
  2012-07-18
  1465 Artikel
  BenutzerIn
  Du musst auch aufpassen mit deinem Split nach Leerzeichen. Das kann genausgut ein Satzzeichen sein.
  
  Falls deine gesamte Datei in den Speicher passt vielleicht sowas, das sollte schneller gehen.
  
  Code (perl): (dl )
  
  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
  
  my @suffixe = qw(en er); my $suff_str = '(?:'.join('|', @suffixe).')'; my $txt = join('', <DATA>); while ($txt =~ m/(\w+($suff_str))\b/g) { print "$1 $2\n"; } __DATA__ Hallo Zusammen, ich habe 2 relativ langen TXT-Dateien. Eine Text-Datei ist ein ganz normaler deutscher Artikel (ca. 40000 Zeilen). Die andere Datei ist eine Liste von Suffixe (Nomen, ADJ, etc.). Was ich haben möchte, ist der Inputdatei einzulesen und mit der Liste zu vergleichen. Mein Code sieht wie folgt aus:
  
  edit: Die Datei als utf8 abspeichern und "use utf8;" oben einfügen, sonst gibt's wahrscheinlich Probleme mit Umlauten.
  
  edit2: Falls das 1:1 das Echtskript ist kann auch die Ausgabe (Konsole) der limitierende Faktor sein.
  Last edited: 2013-12-17 11:33:38 +0100 (CET)
  1 + 1 = 10
  - +2 replies
  - kimmy
    
    2013-12-17 12:30
    
    User since
    2010-09-10
    87 Artikel
    BenutzerIn
    
    super, vielen Dank!
    - Muffi
      
      2013-12-17 13:40
      
      User since
      2012-07-18
      1465 Artikel
      BenutzerIn
      
      Falls es sehr viele Suffixe sind und die Geschwindigkeit noch immer recht langsam, könnte man auch die Wörter (wie bei dir) splitten und jeweils gegen die Regex checken. Dann könnte man die vorkompilieren. Momentan verbringt er wohl die meiste Zeit damit jedesmal die Suffix-Regex zu kompilieren.
      
      Schmarrn. Ich hatts vorher mal anders.
      Last edited: 2013-12-17 13:42:02 +0100 (CET)
      1 + 1 = 10
- barney
  
  2013-12-17 15:51
  
  User since
  2008-08-31
  167 Artikel
  BenutzerIn
  
  Mein Tip ist zuerst mal das Skript mit einem Profiler laufen zu lassen. Ich empfehle das Modul Devel::NYTProf und nytprofhtml.
  
  Stehen in deiner Suffix List reguläre Ausdrücke oder einfache Strings? Wenn es nur Strings sind, dann wäre eine Suche mit index() eventuell schneller als der Regex Vergleich. Dabei sollte zuerst sollten Eingabe und Muster zuerst die Groß/Kleinschreibung von Eingabe und Muster normalisiert werden. Die Funktionen uc() und lc() bieten sich da an.

View all threads created 2013-12-17 11:05.