Tokenisierung (Allgemeines zu Perl)

[thread]18427[/thread]

Tokenisierung

Tags: perl5 modern perl regex Ähnliche Threads

Leser: 19

Articles: hide open all | hide show old branches

+9 replies
Gast Beat

2013-07-10 13:15
Guten Tag, liebes Forum

Ich habe folgendes Problem: Einem grossen Skript möchte ich gerne die Option hinzufügen, dass wenn eine sich öffnende Klammer, ein paar Zeichen dazwischen, und eine sich schliessende Klammer mit einem folgenden Komma erkannt wird, dass dann das Komma gesplittet wird und als eigenes Token angesehen wird.
Schematisch: "(" + [irgendetwas] + ")" + "," sollte erkannt und nach der letzten Klammer getrennt werden,

Für Wörter, die gesplittet werden müssen, habe ich bereits ein funktionierender Aufruf:
Code: (dl )

1 2 3 4

if($line =~ m/^([^. \t]+\w\.)([A-Z][^ \240]*)/) # treats words that should be split { $line =~ s/(?<=[^. \t]\w\.)(?=[A-Z])/ /g; }
In diesem Aufruf sollte eigentlich alles, was man braucht, vorhanden sein.
Wichtig ist nocht zu erwähnen, dass pro Zeile nur ein Wort (oder eben "("+...")"+(",") steht.

Wie könnte dazu eine entsprechende Abfrage aussehen?
Besten Dank.
Last edited: 2013-07-10 16:30:54 +0200 (CEST)
- +3 replies
- bianca
  
  2013-07-11 05:52
  
  User since
  2009-09-13
  7016 Artikel
  BenutzerIn
  
  Könnte dir http://perldoc.perl.org/functions/split.html vielleicht helfen?
  
  @pq: Wie benutzt man das pod Tag korrekt, um zu functions/split.html zu verlinken?
  Last edited: 2013-07-11 05:54:14 +0200 (CEST)
  10 print "Hallo"
  20 goto 10
  - +2 replies
  - payx
    
    2013-07-11 09:05
    
    User since
    2006-05-04
    564 Artikel
    BenutzerIn
    
    Hallo bianca,
    
    2013-07-11T03:52:09 bianca
    @pq: Wie benutzt man das pod Tag korrekt, um zu functions/split.html zu verlinken?
    
    Ich bin zwar nicht pq, aber es geht (z.B.) so:
    
    [pod]perlfunc.split[/pod]
    
    Ergebnis: perlfunc split
    
    Siehe msg #168648
    
    Grüße
    payx
    - bianca
      
      2013-07-12 19:39
      
      User since
      2009-09-13
      7016 Artikel
      BenutzerIn
      
      Danke dir.
      Ich fänd es gut, wenn man das hier ergänzen würde: /bat/poard/markup_help
      10 print "Hallo"
      20 goto 10
- +5 replies
- betterworld
  
  2013-07-11 10:28
  
  User since
  2003-08-21
  2614 Artikel
  ModeratorIn
  
  Was machst du denn da eigentlich? Du fügst ein Leerzeichen in der Zeile ein... ist das das, was du splitten nennst? Und wozu die zusätzliche if-Abfrage?
  
  Geht es jetzt um die Option als solches? Willst du am Ende nur hören, dass man das mit Getopt::Long machen kann?
  
  Und was macht dieses \240? Soll ich jetzt in einer Zeichentabelle nachgucken, was das für ein Code ist? Oder ist es eigentlich unwichtig? Dann würde ich mal dringend raten, alles unwichtige aus deinem Code zu entfernen, damit wir uns hier schneller der Lösung nähern können.
  
  Also zusammengefasst hier mein Hinweis: Bitte mal gaaaanz deutlich schreiben, was du möchtest.
  Lieblingsmodule: IPC::System::Simple, Path::Class
  - Gast Beat
    
    2013-07-11 23:59
    
    Wie gesagt: Ich möchte gerne Fälle wie: Klammer-Text-Klammer-Komma erkennen, und das Token nach der zweiten Klammer trennen. (Und zwar so trennen, wie im Beispiel getrennt wird)
    Was die Zeichen dort bedeuten, ist nicht wichtig. Das war einfach ein Beispiel an einer anderen Stelle meines Codes.
    
    Zudem würde ich gerne Internetadressen und Emailadressen erkennen und diese als nur 1 Token erkennen (d.h. eben nicht trennen).
    Last edited: 2013-07-12 00:59:54 +0200 (CEST)
  - +3 replies
  - Gast beat
    
    2013-07-12 21:30
    
    Zudem: Das Leerzeichen wird später im Code dann gesplittet, d.h. ich würde gerne nach der zweiten Klammer; falls dann ein Komma folgt; ein Leerzeichen zwischen Klammer und Komma setzen. Das ist exakt das, was ich gerne hätte...
    (und das mit den Email und Internetadressen :) )
    Danke für die Hilfe :)
    Last edited: 2013-07-12 21:44:55 +0200 (CEST)
    - +2 replies
    - betterworld
      
      2013-07-12 21:47
      
      User since
      2003-08-21
      2614 Artikel
      ModeratorIn
      
      Naja, den regulären Ausdruck hast du schon, du musst also nur noch ein anderes Muster einfügen. Vermutlich kriegst Du Probleme mit dem Look-Behind, weil Dein Muster jetzt eine variable Länge hat. Also machst Du es ohne Look-Behind:
      
      Code: (dl )
      
      s/(muster)/$1 /
      
      Das ist quasi dasselbe wie:
      
      Code: (dl )
      
      s/(?<=muster)/ /
      
      nur mit dem Unterschied, dass das Muster auch variable Länge haben darf.
      Lieblingsmodule: IPC::System::Simple, Path::Class
      - BeatF6
        
        2013-07-13 19:03
        
        User since
        2013-07-13
        1 Artikel
        BenutzerIn
        
        Ich verstehe nicht ganz. Was meinst du mit muster konkret?
        Und wie soll die if-Abfrage sein?
        Last edited: 2013-07-13 19:45:42 +0200 (CEST)

View all threads created 2013-07-10 13:15.