Erkennung von Abkürzungen (gelöst) (Allgemeines zu Perl)

[thread]16011[/thread]

Erkennung von Abkürzungen [gelöst]

Leser: 17

Articles: hide open all | hide show old branches

+4 replies

kimmy

2011-02-25 17:11

User since
2010-09-10
87 Artikel
BenutzerIn
[default_avatar]

Hallo,

ich habe ein kleines Perl-Skript erstellt, das zwei Listen vergleicht und Kandidaten von Abkürzungen extrahiert. Das Skript läuft ja schon, aber ich möchte euch fragen, ob es noch effizientere Programm-Logik (Geschwindigkeit, Programmstruktur, usw.)gibt.

Code (perl): (dl )

#!/usr/bin/perl

use strict;
use warnings;
use Encode;

binmode(STDOUT,":utf8");

my @arr_abk = <>; # Liste von Abkürzungen

open(my $lex, "<:encoding(UTF8)", "lexikon.txt") or die "kann das Lexikon nicht öffnen: $!";
while(<$lex>){
        chomp;
        my $line = $_;
        foreach my $abk(@arr_abk){
                chomp;
                $abk =~ s/[\r\n]//;
                my @ele_abk = split (/\./, $abk);
                if($abk =~ /^[^\.]{2,}\.$/){
                        if($line =~ /^$ele_abk[0]/i){
                                print "$abk\t$line\n";
                        }
                }
                elsif($abk =~ /^[^\.]{2,}\.[^\.]{2,}\.?$/){
                        if($line =~ /^$ele_abk[0]/i){
                                if($line =~ /$ele_abk[1]/i){
                                        print "$abk\t$line\n";
                                }
                        }
                }
                elsif($abk =~ /^[^\.]{2,}\.[^\.]{2,}\.[^\.]{2,}\.?$/){
                        if($line =~ /^$ele_abk[0]/i){
                                if($line =~ /$ele_abk[1]/i){
                                        if($line =~ /$ele_abk[2]/i){
                                                print "$abk\t$line\n";
                                        }
                                }
                        }
                }
                elsif($abk =~ /^[^\.]{2,}\.[^\.]{2,}\.[^\.]{2,}\.[^\.]{2,}\.?$/){
                        if($line =~ /^$ele_abk[0]/i){
                                if($line =~ /$ele_abk[1]/i){
                                        if($line =~ /$ele_abk[2]/i){
                                                if($line =~ /$ele_abk[3]/i){
                                                        print "$abk\t$line\n";
                                                }
                                        }
                                }
                        }
                }
        }

}

Liste von Abkürzungen

Code (perl): (dl )

F.FUSZ
BANDMOT.
TREIB.ROLLE
GESCHL.BA
BEFEST.WINKEL
LICHTSCHR.SENKR.
LICHTSCHR.HALT.KPL.
F.LICHTGITTE
UNTERT.
M.SPEICHER
SCHNELLENTL.MANSCH.
GENIET.
e-pol.
VERP.
BEF.SCHELLE
WH.
GETEILT.BA
BEFESTIG.WINKEL
SCHRITTMOT.
STEMP.ETI.
ZENTRIERST.
GETEI.BAND
...

Lexikon ist eine Liste von String wie z.B.

Code (perl): (dl )

abfall
abfallband
abfalleimer
abfalleinsatz
abfallentsorgung
abfallkiste
abfallkorb
abfallsack
abfallsaecke
abfallsäcke
abflussrohr
abfluszrohr
abflußreiniger
abflußrohr
abfrageset
abfragungsset
abfuellventil
abführventil
abfüllungsdienstleistung

Vielen Dank im Voraus.

+3 replies
Dubu

2011-02-25 20:57
User since
2003-08-04
2145 Artikel
ModeratorIn + EditorIn
Die ganzen Fallunterscheidungen gefallen mir nicht. Das lässt sich zumindest etwas generischer ausdrücken.
Was hältst du davon, einfach aus jeder Abkürzung eine Regex zu machen? Man muss eigentlich doch nur den Punkt durch \w+ ersetzen, wofür er ja steht:
Code (perl): (dl )

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25

#!/usr/bin/perl use strict; use warnings; use Encode; binmode(STDOUT,":utf8"); my @arr_abk = <>; # Liste von Abkürzungen # Zeilenenden entfernen chomp @arr_abk; # Mache aus allen Abkuerzungen eine Regex my @abk_re = @arr_abk; s/\./\\w+/g for @abk_re; # Alle Begriffe durchgehen open(my $lex, "<:encoding(UTF8)", "lexikon.txt") or die "kann das Lexikon nicht öffnen: $!"; while (my $line = <$lex>){ chomp $line; for my $i (0 .. $#abk_re) { print "$arr_abk[$i]\t$line\n" if $line =~ /^$abk_re[$i]$/i; } }
(Das lässt sich noch etwas verkürzen, wenn die Abkürzung selber nicht ausgegeben werden muss. Aber ich denke, diese Ausgabe möchtest du haben.)

Zu überlegen ist, ob ein Begriff auf mehrere Abkürzungen passen kann und ob das bemerkt werden soll. Ansonsten könnte die Schleife vorzeitig verlassen werden. Umgekehrt kann man sich überlegen, die Schleifen zu vertauschen. Was effizienter ist, hängt von deinen Daten und dem Ziel ab.

PS: Ach ja, evtl. müsste man die Abkürzungen vorher noch auf Zeichen prüfen, die in Regexen eine besondere Bedeutung haben +,*,{,},[,],...
Last edited: 2011-02-25 20:59:46 +0100 (CET)
- +2 replies
- kimmy
  
  2011-02-25 22:55
  User since
  2010-09-10
  87 Artikel
  BenutzerIn
  Vielen Dank für deine Antwort.
  Aber ich bekomme folgendes Ergebnis:
  
  Code (perl): (dl )
  
  1 2 3 4 5 6 7 8 9 10 11 12 13 14
  
  . abbrechpackung ... abbrechpackung . abdampfschale ... abdampfschale . abdeckand Abdeck. abdeckand ... abdeckand . abdeckband Abdeck. abdeckband ... abdeckband . abdeckbandabroller Abdeck. abdeckbandabroller ... abdeckbandabroller . abdeckblech
  
  Könntest du mir erklären, was es eigentlich bedeutet und woran es liegt?
  - Dubu
    
    2011-02-26 00:44
    
    User since
    2003-08-04
    2145 Artikel
    ModeratorIn + EditorIn
    
    Sieht so aus, als hättest du auch "Abkürzungen", die nur aus einem oder drei Punkten bestehen. Da funktioniert das mit der Regex nicht ("." wird zu ".*"), denn die passen dann auf jedes Wort.
    Was möchtest du für solche Fälle denn heraus bekommen?

View all threads created 2011-02-25 17:11.