Hallo!

Weis jemand von euch zufällig, ob es ein Modul zur Segmentierung deutschsprachiger Texte in dessen Wörter gibt?
Oder kennt jemand einen guten Algorithmus?

Grüße, pktm

was bitte ist ein wortsegmentierer?

hmm, vielleicht Text::Ngrams

Vielleicht auch einfach nur @woerter = $text =~ /\w+/g ?

ich weiß auch nicht was er meint! :)

Nun, mit Wortsegmentierer meine ich etwas, dass einen beliebigen Text in seine Wörter zerlegt. So soll z.B. aus dem Satz "Bernd fuhr Eva betrunken nach Hause" das hier werden: [qw(Bernd fuhr Eva betrunken nach Hause)].

http://search.cpan.org/dist/perl-5.8.8/lib/Text/ParseWords.pm scheint das zu tun, aber damuss ich ja trotzdem noch meine eigene Regex zu schreiben. Und etwas mit einer Grammatik wäre mir auch lieber.

achso.
schau dir mal Text::ExtractWords an!

[quote=Dubu,27.06.2006, 10:03]Vielleicht auch einfach nur @woerter = $text =~ /\w+/g ?[/quote]
sollte da nicht reichen was Dubu geschrieben hat? :rock:

Besser ist diese Alternative, die an whitespace splittet, so dass Bindestriche oder Umlaute keine Schwierigkeiten machen:

@woerter = split /\s+/, $text;

Je nach Verwendungszweck muss noch tokenized werden, um Sonderzeichen (Kommata, Punkte, klammern, Anführungszeichen...) zu entfernen - noch kleben diese am Wort.

$wort =~ s/(.+)[\»\:\.\,\"\)\;\]]+$/$1/;
$wort =~ s/^([\«\(\[\"]+)(.+)/$2/;

Gruß, Pida

Naja, solche Negativlisten gefallen mir nicht besonders. Da vergisst man zu leicht etwas.
Wer Umlaute braucht, nimmt einfach "use locale", dann klappt's auch mit dem \w oder - noch besser - dem [:alpha:].

Dann wird's aber knifflig: Wenn man vermeiden möchte, dass aus einer Formulierung wie "be- und entladen" das Wort "be" extrahiert wird, braucht man mehr als eine zeichenbasierte Analyse.

Wenn ich oben "Grammatik" lese, dann scheint es mir doch eher um Informationsextraktion zu gehen. Da kenne ich leider kein Perl-Lösung, aber wenn der Anspruch höher ist und es auch Java sein darf, würde ich mal einen Blick auf das GATE-Projekt werfen.