Vokale im Umlaute wandeln (Allgemeines zu Perl)

[thread]18977[/thread]

Vokale im Umlaute wandeln

Tags: perl5 regex Ähnliche Threads

Leser: 20

Articles: hide open all | hide show old branches

+21 replies
Tom950

2014-03-18 06:48

User since
2014-03-18
5 Artikel
BenutzerIn

Hallo Zusammen,

ich habe ca. 250 Text-Dateien in denen sämtliche Umlaute mit Vokalen geschrieben sind. Diese Textdateien würde ich gerne konvertieren. Die Originaldateien sollen erhalten bleiben und eine neue konvertierte Datei soll jeweils angelegt werden.
Hierbei sollen folgende Entsprechungen gelten:

ä = ae
ö = oe
ü = ue

Ä = Ae
Ö = Oe
Ü = Ue

Ä = AE
Ö = OE
Ü = UE

Ferner sind folgende Besonderheiten zu beachten, bei denen keine Konvertierung stattfinden darf:

Steuer, neuer => eue
Bauer, Dauer => aue

Ferner gibt es derzeit folgende feststehende Begriffe, die als solche erhalten bleiben sollen. Zur besseren Pflege würde ich diese gerne in einer Liste "verwalten" wollen, die Ausnahmen enthält

UTUER
UEB
UE1
UE2
UE3
UE10
UE11
UE12
UEL
THUE
VUE
DUE

Um die "heißen" Kandidaten zu finden, habe ich mir folgende Regex überlegt:
[^ae]ue|ae

Bei Verwendung von Wortgrenzen ließen sich die weiter zu untersuchenden Wörter bestimmen.

Allerdings habe ich keine Idee, wie ich die Liste der Ausnahmen (effizient) behandeln könnte.
Hat von euch jemand eine Idee?

Ich verwende Windows 8.1 und Strawberry Perl (5.18.1.1-64bit).

Gruß Thomas (bin Perl-Anfänger)
Last edited: 2014-03-18 08:19:07 +0100 (CET)
- Muffi
  
  2014-03-18 08:49
  
  User since
  2012-07-18
  1465 Artikel
  BenutzerIn
  
  Puh, garnicht so simpel.
  Was passiert eigentlich z.B. bei "Buehnensteuer"?
  1 + 1 = 10
- bianca
  
  2014-03-18 08:58
  
  User since
  2009-09-13
  7016 Artikel
  BenutzerIn
  
  Ich würde alle in Frage kommenden die nicht in der Ausnahme definiert sind in ein Hash packen damit jedes nur einmal da ist und dann den Benutzer jedes Wort abfragen. Ich glaube nicht, dass das so viele Wörter sein werden.
  10 print "Hallo"
  20 goto 10
- jan
  
  2014-03-18 09:22
  
  User since
  2003-08-04
  2536 Artikel
  ModeratorIn
  
  Sind das "normale" Texte? Dann würde ich das mit Lexika machen, und schauen, ob die Worte mit entsprechenden Umlauten existieren. Wenn das wilde Texte sind mit vielen Fachvokabeln, die nicht in gängigen Wordlists stehen, dann hilft das natürlich nicht so sehr...
- payx
  
  2014-03-18 09:26
  
  User since
  2006-05-04
  564 Artikel
  BenutzerIn
  
  Hallo Tom950,
  
  ich würde damit starten: Lingua::DE::ASCII, dann (vielleicht mit einer Rechtschreibprüfung) nach Fehlern suchen und ggf. nachbessern, vielleicht wie von Bianca vorgeschlagen gegen ein Lexikon.
  
  HTH
  Grüße
  payx
  
  PS: Ich habe das Modul nicht selbst ausprobiert und auch den Code nicht angesehen. Die Doku wirkt auf mich aber einigermaßen vielversprechend (außer dass in der Synopsis ein " fehlt).
- Raubtier
  
  2014-03-18 09:50
  
  User since
  2012-05-04
  1076 Artikel
  BenutzerIn
  
  Ist das ein Schweizer Text? Wenn nicht, musst du auch noch ss->ß konvertieren.
- +15 replies
- Tom950
  
  2014-03-18 21:58
  
  User since
  2014-03-18
  5 Artikel
  BenutzerIn
  
  Zunächst mal noch etwas Input:
  Bei den Texten handelt es sich um Programmbeschreibungen, die einerseits normalen Text enthalten und anderseits kryptisch anmutende Fachkürzel beinhalten. Diese Fachkürzel sollen unverändert erhalten bleiben.
  Im übrigen habe ich heute festgestellt, dass sich die Liste der Fachkürzel vermutlich um ein Vielfaches erweitern wird. Die Liste muss alle Fachkürzel enthalten, die ae, oe oder ue enthalten.
  
  Ich gehe mal davon aus, dass die Fachkürzel eigenständige Wörter sind, also keine Wortteile eines größeren Wortes. Das muss ich aber noch verifizieren.
  
  Prinzipiell ist richtig, dass ss noch ggf. in ß konvertiert werden muss. Aber das möchte ich mir dann als Kür aufbewahren.
  
  Wenn man die Fachkürzel zunächst außer Acht lässt, können folgende Such- bzw. Ersetzen-RegEx unter Berücksichtigung der Groß- und Kleinschreibung verwendet werden:
  Suchen: -> Ersetzen:
  ae([^u]) -> ä$1
  A[eE]([^uU]) -> Ä$1
  ([^ae])ue -> $1ü
  ([^ae])U[eE] -> $1Ü
  oe -> ö
  O[eE] -> Ö
  
  In ersten Vorversuchen hat das prima geklappt.
  
  Als prinzipielle Strategie habe ich mir folgendes überlegt:
  1. Zunächst wird nach Wörtern gesucht, die potenzielle Kandidaten für Ersetzungen sind
  2. Dann wird untersucht, ob es sich bei dem gefundenen Wort um eine Ausnahme handelt.
  3. Falls es sich um keine Ausnahme handelt, werden alle möglichen Ersetzungen durchgeführt.
  
  Mein Problem ist: Wie kann ich, nachdem ich festgestellt habe, dass keine Ausnahme vorliegt, in dem Wort die möglichen Ersetzungen durchführen und anschließend am Ende des gefundenen Wortes nach weiteren Wörter in der gleichen Zeile suchen?
  - Raubtier
    
    2014-03-18 23:08
    User since
    2012-05-04
    1076 Artikel
    BenutzerIn
    
    Wo ist jetzt genau das Problem? Ich habe deine Ausdrücke genau 1:1 verwendet, dann kommt das hier raus (beachte, dass du das ue->ü vielleicht am Wortanfang anders behandeln willst).
    
    Code (perl): (dl )
    
    1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45
    
    use strict; use warnings; use feature qw(say); my %exclude; @exclude{qw(UTUER UEB UE1 UE2 UE3 UE10 UE11 UE12 UEL THUE)} = (); while (my $line = <DATA>) { chomp $line; my @words = split / /, $line; for (@words) { next if exists $exclude{uc $_}; s/ae([^u])/ä$1/g; s/A[eE]([^uU])/Ä$1/g; s/([^ae])ue/$1ü/g; s/([^ae])U[eE]/$1Ü/g; s/oe/ö/g; s/O[eE]/Ö/g; } say join " ", @words; } __DATA__ Zunaechst mal noch etwas Input: Bei den Texten handelt es sich um Programmbeschreibungen, die einerseits normalen Text enthalten und anderseits kryptisch anmutende Fachkuerzel beinhalten. Diese Fachkuerzel sollen unveraendert erhalten bleiben. Im uebrigen habe ich heute festgestellt, dass sich die Liste der Fachkuerzel vermutlich um ein Vielfaches erweitern wird. Die Liste muss alle Fachkuerzel enthalten, die ae, oe oder ue enthalten. UTUER UEB UE1 UE2 UE3 UE10 UE11 UE12 UEL THUE Ich gehe mal davon aus, dass die Fachkuerzel eigenstaendige Woerter sind, also keine Wortteile eines groesseren Wortes. Das muss ich aber noch verifizieren. Prinzipiell ist richtig, dass ss noch ggf. in ss konvertiert werden muss. Aber das moechte ich mir dann als Kuer aufbewahren. Wenn man die Fachkuerzel zunaechst ausser Acht laesst, koennen folgende Such- bzw. Ersetzen-RegEx unter Beruecksichtigung der Gross- und Kleinschreibung verwendet werden:
    
    Damit du auch noch was zu tun hast: ich splitte an / /, du musst für die Exclude-List aber noch Satzzeichen beachten...
    Last edited: 2014-03-18 23:13:27 +0100 (CET)
  - FIFO
    
    2014-03-19 00:43
    User since
    2005-06-01
    469 Artikel
    BenutzerIn
    
    2014-03-18T20:58:04 Tom950
    Suchen: -> Ersetzen:
    ae([^u]) -> ä$1
    A[eE]([^uU]) -> Ä$1
    ([^ae])ue -> $1ü
    ([^ae])U[eE] -> $1Ü
    
    Nur so bzgl. Perl lernen: Für das, was Du da machst gibt es sog. lookarounds, dann braucht keine Gruppe eingefangen und $1 nicht verwendet werden:
    
    Code (perl): (dl )
    
    1 2 3 4
    
    $text =~ s/ae(?!u)/ä/g; # negativer lookahead $text =~ s/A[eE](?![uU])/Ä/g; $text =~ s/(?<![ae])ue/ü/g; # negativer lookbehind $text =~ s/(?<![ae])U[eE]/Ü/g;
    
    usw, eine ausführliche Anleitung gibt's z.B. hier.
    Everyone knows that debugging is twice as hard as writing a program in the first place. So if you're as clever as you can be when you write it, how will you ever debug it? -- Brian Kernighan: "The Elements of Programming Style"
  - +11 replies
  - clms
    
    2014-03-19 01:28
    
    User since
    2010-08-29
    373 Artikel
    BenutzerIn
    
    Zuerst ein Hinweis:
    Die zuverlässige Rückverwandlung von "ae", "oe" und "ue" in Umlaute ist alles andere als trivial, da dir im Deutschen zusammengesetzte Wörter das Leben schwer machen. Deine Regeln sind deshalb nicht ausreichend.
    Ein Beispiel für "ue", bei dem Deine Regex nicht passen, siehst Du oben, für "oe" ist mir soeben auch etwas eingefallen und wenn ich noch weiter suche finde ich bald auch ein Beispiel für "ae".
    
    Die Idee mit dem Wörterbuch ist deshalb nicht schlecht.
    - +10 replies
    - Tom950
      
      2014-03-19 05:51
      
      User since
      2014-03-18
      5 Artikel
      BenutzerIn
      
      Danke für den Einwand:
      
      Also "Buehnensteuer" wäre kein Problem, da das ue zu Beginn gewandelt wird, aber das eue nicht gewandelt wird
      [^e]ue besagt ja, dass vor dem ue kein e sein darf.
      Das Wort "Bauer" wird beispielsweise durch [^a]ue richtig behandelt
      Beide Fälle zusammengenommen genommen, ergeben [^ae]ue
      
      Bei "soeben" wird nach derzeitigem Stand die Umwandlung durchgeführt, was falsch ist.
      
      Hinsichtlich "ue" mit der Groß- und Kleinschreibung sehe ich keine Probleme.
      Mit U[eE] würde das bei folgenden Schreibweisen richtig funktionieren:
      - UEBERTRAG -> ÜBERTRAG
      - Uebertrag -> Übertrag
      
      Hinsichtlich Wörterbuch ist mir nicht klar, wie der Treffer bzw. Nicht-Treffer in einer vertretbaren Zeit gefunden werden soll. Ich kann doch nicht für jedes Wort jedesmal das ganze Wörterbuch durchsuchen?
      Außerdem müssten die Wörter im Wörterbuch vorher konvertiert werden also von Umlauten zu Vokalen bzw. ß zu ss.
      Ein anderen Weg wäre solche Wörter wie "soeben" in die Ausnahmeliste mit aufzunehmen. Hat den Nachteil, dass die Liste zu Beginn dumm ist und gepflegt werden muss. - Aber ein Wörterbuch ist auch nicht allwissend :-)
      - +8 replies
      - FIFO
        
        2014-03-19 07:31
        
        User since
        2005-06-01
        469 Artikel
        BenutzerIn
        
        Mal eine Frage: Wie oft musst Du die Konversion machen? Wenn das eine einmalige Aktion ist, lohnt es sich vielleicht, mal eine Liste aller vorkommenden ae-Wörter zu erstellen (und ue etc). Das werden evtl. garnicht viele sein, so dass Du Ausnahmefälle ggf. händisch eintragen kannst.
        Apropos:
        Tetraeder, zuende
        Everyone knows that debugging is twice as hard as writing a program in the first place. So if you're as clever as you can be when you write it, how will you ever debug it? -- Brian Kernighan: "The Elements of Programming Style"
        
        +7 replies
        
        Raubtier
        
        2014-03-19 09:14
        
        User since
        2012-05-04
        1076 Artikel
        BenutzerIn
        
        2014-03-19T06:31:54 FIFO
        Apropos:
        Tetraeder, zuende
        
        Wird zu "Teträder, zünde", also immerhin 50% richtig.
        
        FIFO
        
        2014-03-19 09:33
        
        User since
        2005-06-01
        469 Artikel
        BenutzerIn
        
        2014-03-19T08:14:35 Raubtier
        Wird zu "Teträder, zünde", also immerhin 50% richtig.
        
        Ja, stimmt, diese Teträder sind der letzte Schrei, E-Bikes sind out :)
        Everyone knows that debugging is twice as hard as writing a program in the first place. So if you're as clever as you can be when you write it, how will you ever debug it? -- Brian Kernighan: "The Elements of Programming Style"
        
        +5 replies
        
        GwenDragon
        
        2014-03-19 11:18
        
        User since
        2005-01-17
        14761 Artikel
        Admin1
        
        Wunderbare Erset-Zungen ;) werden da linguistisch generiert.
        
        Cörs (anstatt Coers [Nachname]), Isräl und Citrön sind bestimmt auch toll!
        
        Ausnahmelisten sind bestimmt gut, bis was übersehen wird.
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
        
        +4 replies
        
        payx
        
        2014-03-19 11:42
        
        User since
        2006-05-04
        564 Artikel
        BenutzerIn
        
        Ich erwähnte es schon: Lingua::DE::ASCII. Hier sind diverse Listen und linguistische Regeln schon enthalten. Wie gesagt würde ich als erstes damit starten und dann bei Bedarf nachbessern.
        
        +3 replies
        
        Tom950
        
        2014-03-20 05:09
        
        User since
        2014-03-18
        5 Artikel
        BenutzerIn
        
        Ich habe mir das Sprachpaket runter geladen und stehe nun vor den Problem, wie ich es in meine Strawberry-Installation integrieren soll.
        
        1. Frage: In welches Verzeichnis entpacke ich das Paket sinnvollerweise?
        2. Frage: Laut Anleitung soll man anscheinend 4 Befehlszeilen ausführen. Was wird da genau gemacht bzw. wie kann ich nachprüfen, ob diese Schritte richtig ausgeführt wurden?
        3. Frage 3: Welche make-Befehle werden da benutzt? Ist er bereits in meiner Grundinstallation enthalten, wenn ja wo, oder ist er Bestandteil des Pakets?
        
        INSTALLATION
        
        To install this module type the following:
        
        perl Makefile.PL
        make
        make test
        make install
        
        The self test is very intensive,
        it may need 10 minutes as it tests with a huge german word list.
        If it is to long for, just look for the first few seconds,
        if no error occurs up till then, it shouldn't happen in the remaining minutes and
        it should be O.K. to skip the remaining test.
        (And to give you a feeling, a progress bar is shown)
        
        DEPENDENCIES
        
        This module requires these other modules and libraries:
        
        Test::More (only for testing)
        
        If you want a nicer feeling when testing and waiting,
        you should also install
        Term::ProgressBar
        
        bianca
        
        2014-03-20 07:23
        
        User since
        2009-09-13
        7016 Artikel
        BenutzerIn
        
        Bei Strawberry gibst du einfach in der Kommandozeile perl -MCPAN -e shell ein und dann install Lingua::DE::ASCII
        Den Rest macht das Tool für dich.
        10 print "Hallo"
        20 goto 10
        
        GwenDragon
        
        2014-03-20 07:54
        
        User since
        2005-01-17
        14761 Artikel
        Admin1
        
        2014-03-20T04:09:59 Tom950
        Ich habe mir das Sprachpaket runter geladen und stehe nun vor den Problem, wie ich es in meine Strawberry-Installation integrieren soll.
        Wieso runter laden? Module installiert man mit dem Programm cpan.
        Siehe auch ModuleWieInstalliereIchEinModul
        
        Rufe auf der Kommandozeile auf:
        cpan Lingua::DE::ASCII
        Last edited: 2014-03-20 07:55:49 +0100 (CET)
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
      - bianca
        
        2014-03-19 13:26
        
        User since
        2009-09-13
        7016 Artikel
        BenutzerIn
        
        Hast du denn mittlerweile mal alle Dateien eingelesen und geschaut, wieviele Wörter überhaupt für eine Änderung in Frage kommen?
        Wenn das im Rahmen liegt kann man das doch manuell viel einfacher lösen, oder nicht?
        10 print "Hallo"
        20 goto 10
  - FIFO
    
    2014-03-19 09:49
    User since
    2005-06-01
    469 Artikel
    BenutzerIn
    
    Hi, hier mal ein Beispiel, wie Du alle Wörter ( [A-Za-z0-9_] ) in einem Skalar verarbeiten kannst, in diesem Fall werden alle .txt-Files jeweils am Stück (nicht zeilenweise) eingelesen und eine Wortliste aller Umlautworte erstellt, alles noch simpel gestrickt fürs Prinzip. Aus dieser Wortliste kannst Du dann mit Deinen Ausnahmen Such-/Ersetz-Muster bauen und in einem zweiten Schritt alle Ersetzungen durchführen.
    
    Code (perl): (dl )
    
    1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26
    
    use warnings; use strict; my %umlautWords; my $umlautWordPattern = qr( [aou]e )ixo; for my $file ( glob( 'C:/myPath/*.txt' ) ) { my $data; open( my $FH, '<', $file ) or next; { local $/; $data = <$FH>; } close $FH; while ( $data =~ / \b (\w+) \b /oxg ) { my $word = $1; if ( $word =~ $umlautWordPattern ) { next if exists $umlautWords{ $word }; $umlautWords{ $word } = 1; } } print "$file completed\n"; } print "$_\n" for ( sort { uc( $a ) cmp uc( $b ) } keys %umlautWords );
    
    Editiert von FIFO: Kosmetik
    Last edited: 2014-03-19 12:50:10 +0100 (CET)
    Everyone knows that debugging is twice as hard as writing a program in the first place. So if you're as clever as you can be when you write it, how will you ever debug it? -- Brian Kernighan: "The Elements of Programming Style"

View all threads created 2014-03-18 06:48.