Probleme mit Listenabgleich (Allgemeines zu Perl)

[thread]20369[/thread]

Probleme mit Listenabgleich

Tags: perl5 regex Array Ähnliche Threads

Leser: 14

Articles: hide open all | hide show old branches

+8 replies

Corni_Cornflake

2017-09-04 15:41

User since
2017-08-20
13 Artikel
BenutzerIn
[default_avatar]

Hallo,
ich versuche gerade ein Programm zu schreiben, das im Prinzip Verben findet. Dafür lese ich mehrere Listen von Wörtern ein, im Prinzip ist jede Wortart enthalten, außer Verben, um dann die Verben mit dem Ausschlussprinzip zu finden. Leider funktioniert mein Programm so nicht. Als Ergebnis soll es mir einfach nur die Verben anzeigen, doch so ist das Ergebnis ebenfalls ein Artikel, eine Präposition und so weiter. Ich versteh aber auch nicht wieso. Vielleicht kann mir ja jemand weiter helfen?
Bis auf die Liste der Adjektive sind alle anderen Daten in den Dateien nur mit einem Komma getrennt. Mein Fehler müsste denke ich irgendwo ab Zeile 85 sein. Mein Code sieht so aus:

Code (perl): (dl )

#!/usr/bin/perl -w

#Adjektive
$adjektive= "adjektive.txt";
open(DATEI_ADJ, "<$adjektive");

foreach (<DATEI_ADJ>) {
        @adjektivliste= split(/\n/,$_); #adjektivliste in adjektive aufspalten
        foreach $listenelement (@adjektivliste) { #tags entfernen
                @adjektive= split(/\/.+/,$listenelement);
                foreach $adjektiv (@adjektive) { #endgültige adjektivliste durchgehen
                        if ($adjektiv=~ m/.*?a".*?/g) { #sonderzeichen umwandeln ä
                                $adjektiv=~ s/a"/ä/g;
                        }
                        if ($adjektiv=~ m/.*?o".*?/g) { #sonderzeichen umwandeln ö
                                $adjektiv=~ s/o"/ö/g;
                        }
                        if ($adjektiv=~ m/.*?u".*?/g) { #sonderzeichen umwandeln ü
                                $adjektiv=~ s/u"/ü/g;
                        }
                        if ($adjektiv=~ m/.*?sS.*?/g) { #sonderzeichen umwandeln ß
                                $adjektiv=~ s/sS/ß/g;
                        }
                        push (@adj,$adjektiv);
                }
        }
}


#Artikel
$artikel= "artikel.txt";
open(DATEI_ART, "<$artikel");

foreach (<DATEI_ART>) {
        @art= split(/,/,$_); #artikelliste in artikel aufspalten
}

#Adverben
$adverben= "adverben.txt";
open(DATEI_AD, "<$adverben");

foreach (<DATEI_AD>) {
        @ad= split(/,/,$_); #adverbenliste in artikel aufspalten
}
foreach (@ad) { #bearbeiten adverben liste
        if ($_=~ m/.*?ss.*?/g) {
                $_=~ s/ss/ß/g;
        }
}

#Pronomen
$pronomen= "pronomen.txt";
open(DATEI_PRO, "<$pronomen");

foreach (<DATEI_PRO>) {
        @pro= split(/,/,$_); #pronomenliste in artikel aufspalten
}

#Präpositionen
$praposition= "präpositionen.txt";
open(DATEI_PRA, "<$praposition");

foreach (<DATEI_PRA>) {
        @pra= split(/,/,$_); #präpositionsliste in artikel aufspalten
}

#Konjunktionen
$konjunktionen= "konjunktionen.txt";
open(DATEI_KON, "<$konjunktionen");

foreach (<DATEI_KON>) {
        @kon= split(/,/,$_); #konjunktionsliste in artikel aufspalten
}

#Interjektionen
$interjektionen= "interjektionen.txt";
open(DATEI_INT, "<$interjektionen");

foreach (<DATEI_INT>) {
        @int= split(/,/,$_); #interjektionsliste in artikel aufspalten
}

push (@alles_ausser_verb, @art, @ad, @pro, @pra, @kon, @int, @adj);

$normalText= "Der Weihnachtsmann kommt heim. Kinder. die Enkel. Cäsar kam, sah und siegte, Muskatnuss und lief. Menschen sind komplex. Luna mag Tiere, bringt Wasser mit und geht wieder nach Hause. Leben. die Mutter.";
@saetze_0_anapher= split(/(?<=[.!?])\s*/,$normalText);
foreach $satz (@saetze_0_anapher) {
        @woerter= split(/ /,$satz);
        foreach $wort (@woerter) {
                $wort=~ s/(,|\.|\?|\!|\"|„|-|\s)//g;
                foreach $alles_ausser_verb (@alles_ausser_verb) {
                        if ($wort!~ m/($alles_ausser_verb|[A-Z].*)/) {
                                print "$wort\t";
                        }
                }
        }
}

Vielen Dank für die Hilfe!!

+4 replies
hlubenow

2017-09-04 16:03

User since
2009-02-22
875 Artikel
BenutzerIn

Hallo,

ich glaube, Du meinst innerhalb des Satzes wohl eher das Prädikat (das normalerweise ein Verb ist). Vielleicht könnten die Regeln der Grammatik der natürlichen Sprache helfen, es zu finden.
So etwas wurde sicher schon versucht ("Sprachanalyse").
- +3 replies
- Corni_Cornflake
  
  2017-09-04 16:17
  
  User since
  2017-08-20
  13 Artikel
  BenutzerIn
  
  Generell habe ich schon über einiges nachgedacht, aber diese Variante schien für mich die machbarste. Es geht auch nicht direkt um das Prädikat sondern eigentlich um eine Art der Anapher, die finde ich aber nur, wenn ich auch Verben finden kann. Ich möchte eigentlich auch nicht noch einmal alles überarbeiten. Zu dem Programm gehört noch einiges mehr, als nur dieser Teil, das würde dann alles auch beeinflusst werden.
  - +2 replies
  - hlubenow
    
    2017-09-04 16:29
    
    User since
    2009-02-22
    875 Artikel
    BenutzerIn
    
    Ich glaube, Linuga::Stem, Text::German würden in die Richtung gehen.
    Bekomme es aber auf die Schnelle nicht richtig zum Laufen.
    
    Google-Books hat noch: Roger Bilisoly, "Practical Text Mining with Perl".
    
    Aber wenn ich Dich richtig verstehe, willst Du lieber Deinen Code verwenden.
    - Corni_Cornflake
      
      2017-09-04 16:52
      
      User since
      2017-08-20
      13 Artikel
      BenutzerIn
      
      Naja, ich kann einfach gerade nicht mehr umschwenken in meiner Lösungsfindung, sonst klappt die ganze Theorie meiner Arbeit nicht mehr. Wie gesagt, es geht da um einiges mehr als "nur" diesen Teil. Aber trotzdem danke für den Vorschlag!
Linuxer

2017-09-04 19:47

User since
2006-01-27
3890 Artikel
HausmeisterIn

Irgendwie ist von meinen Hinweisen aus msg #187311 leider nichts im Code angekommen? Schade. Sehr schade.

Ansonsten wäre es in Deinem Sinne hilfreich, mal ein Archiv (tgz, zip, 7z, rar, o.ä.) mit den notwendigen Datendateien bereitzustellen. Damit wäre dann ein Test-Szenario für Helfer direkt durchführbar. So allerdings nicht. Gerade bei möglichen Logikfehlern ist es notwendig, dass man den Fall direkt nachstellen kann. Wenn dazu
Datendateien notwendig sind, sollten diese eben bereitgestellt werden.

Falls es keine Test-Dateien gibt, erzeuge doch mal welche, packe die Dateien mal zusammen und hänge das dann als Anhang an Deinen Beitrag. Es müssen und sollten nun keine riesige Datenmengen sein, die Du bereitstellen sollst, nur soweit ausreichend, dass beispielsweise Dein Problem mit dem Testsatz nachvollziehbar wird.

Ich werde jedenfalls momentan keine Zeit investieren, 7 Datendateien ratend zu füllen, um Dein Problem eventuell nachvollziehen zu können.

Sorry.
meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
rosti

2017-09-05 06:39

User since
2011-03-19
3472 Artikel
BenutzerIn

Hilfreich wäre eine verständliche Problembeschreibung die auch zum Code passen sollte. Wenn Du bspw. Verben finden willst, dann definiere ein entsprechendes Kriterium was ein Wort als Verb auszeichnet. MfG

PS: Soweit ich Deine bisherige Idee verstanden habe sollen bestimmte Worte aus einem vorhandenen Text entfernt werden um aus dem was dann übrig bleibt schließen zu wollen daß das Verben sind. Sowas kannst Du recht einfach über einen Hash-Slice machen, siehe delete(). Und vermittels $text =~ s/der|die|das//ig; gehts natürlich auch.

Woran scheitert das denn bei Dir?
Last edited: 2017-09-05 07:46:49 +0200 (CEST)

Gast wer

2017-09-05 12:11

So würde ich es schreiben (ungetestet):

Code (perl): (dl )

#!/usr/bin/perl
use strict;
use warnings;

my @alles_ausser_verb;

my @umlaut_map =(['o"','ö'],['u"','ü'],['a"','ä'],['sS','ß'],['ss','ß']);

my @files = (
  ["adjektive.txt",     '/'],#Adjektivedjektive
  ["artikel.txt",       ','],#Artikel
  ["adverben.txt",      ','],#Adverben
  ["pronomen.txt",      ','],#Pronomen
  ["präpositionen.txt", ','],#Präpositionen
  ["konjunktionen.txt", ','],#Konjunktionen
  ["interjektionen.txt",','],#Interjektionen
);

for my $i (@files) {
  my ($file,$separator) = @$i;
  if(open(my $fh, '<', "$adjektive")) {
    while ( my $line = <$fh>) {

      # Zeilenumbrüche entfernen
      $line=~s/[\r\n]+//gs;

      #Elemente splitten
      foreach my $lm (split(m!$separator!,$line)) {

        #umlaute setzen
        foreach(@umlaut_map) {
          my ($s,$r) = @$_;
          $elm=~ s/$s/$r/g;
        }

        #ins array
        push (@alles_ausser_verb,$elm);     
      }
    }
    close($fh);
  }
  else {
    warn "ERROR OPEN $file ($!)\n";
  }
}

my $normalText= "Der Weihnachtsmann kommt heim. Kinder. die Enkel. Cäsar kam, sah und siegte, Muskatnuss und lief. Menschen sind komplex. Luna mag Tiere, bringt Wasser mit und geht wieder nach Hause. Leben. die Mutter.";

my $regexp = join('|',map{qr/\Q$_\E/}@alles_ausser_verb);
$regexp = qr/$regexp|[A-Z].*/;

my @saetze_0_anapher= split(/(?<=[.!?])\s*/,$normalText);
foreach $satz (@saetze_0_anapher) {
  my @woerter= split(/\s+/,$satz);
  foreach $wort (@woerter) {
    $wort=~ s/(,|\.|\?|\!|\"|„|-|\s)//sg;
    foreach $alles_ausser_verb (@alles_ausser_verb) {
      next if ($wort=~ m/$regexp/);
      print "$wort\t";
    }
  }
}

Last edited: 2017-09-05 12:36:29 +0200 (CEST)

View all threads created 2017-09-04 15:41.