HTML mit Perl regex parsen (gelöst) (Allgemeines zu Perl)

[thread]18566[/thread]

HTML mit Perl regex parsen [gelöst]

Tags: perl5 Ähnliche Threads

Leser: 17

Articles: hide open all | hide show old branches

+10 replies

Lauvia

2013-09-06 12:50

User since
2013-09-05
42 Artikel
BenutzerIn
[default_avatar]

Hallo zusammen,
ich bin gerade am parsen eines HMTL Dokuments und hätte es gern mit regex, weil der HTML-Code viel zu einfach ist.
am Beispiel der folgenden Zeile

Code: (dl )

<TR class='passed'><TD>CAN signal</TD><TD>'DISP_RQ_GR_GRB' available in Inca.</TD><TD>PASSED</TD></TR>

möchte ich die Infos:

- passed
- DISP_RQ_GR_GRB
- available in Inca

in drei Variablen kopieren, z.B. V1, V2, V3

hier ein Stück meines Codes:

Code (perl): (dl )

while (my $line = <$read_handle>)
{
 
        if ($line =~ /class\=/ and $line =~ /CAN signal/)
        {
        
                my $Inca_Name;
                my $Inca_Vchk;
                my $Inca_Comment;
                
                # collect Signal Informations
            ($Inca_Vchk, $Inca_Name, $Inca_Comment)= 
                $line =~  /^\<[A-Z]\s+[a-z]\=\'([a-z])\'\>\<[A-Z]\>[^0-9]<\/[A-Z]\>\<[A-Z]\>\'([a_zA-Z0-9_])\'\s+([^0-9])\<[^0-9]/;               
                
        }
}

Könnte mir jemand diese Zeilen 12 und 13 mit regex vielleicht richtig schreiben?
Last edited: 2013-09-06 12:58:26 +0200 (CEST)

+2 replies
clms

2013-09-06 13:31

User since
2010-08-29
373 Artikel
BenutzerIn

2013-09-06T10:50:42 Lauvia
Könnte mir jemand diese Zeilen 12 und 13 mit regex vielleicht richtig schreiben?

Was auf jeden Fall nicht passt:
[A-Z] matched exakt ein Zeichen. Du brauchst mindestens ein Zeichen, also muss das [A-Z]+ werden. Für die anderen Charaktergruppen gilt das gleiche.

Ob dann alles richtig ist, kann ich nicht beurteilen, da ich nicht die Varianten der Input-Daten kenne.
- Lauvia
  
  2013-09-06 14:06
  User since
  2013-09-05
  42 Artikel
  BenutzerIn
  Hallo CLMS,
  da hast du aber einen schönen Nick!
  nochmal vielen Dank!
  
  ich habe so korrigiert und es hat funktioniert
  
  Code (perl): (dl )
  
  1 2 3 4 5 6
  
  # collect Signal Informations ($Inca_Vchk, $Inca_Name, $Inca_Comment)= $line =~ /^\<[A-Z]+\s+[a-z]+\=\'([a-z]+)\'\>\<[A-Z]+\>[^0-9]+<\/[A-Z]+\>\<[A-Z]+\>\'([a_zA-Z0-9_]+)\'\s+([^0-9]*?)\<[^0-9]+/; print "$Inca_Vchk $Inca_Name $Inca_Comment"; } }
  
  als Anhang auch der HTML-File! ich denke es ist nicht der beste Weg HTML-File zu parsen aber die Struktur meiner Files ist auch ziemlich simple, deshalb habe ich den Schritt gewagt.
  Jetzt muss ich nur an weiteren Fällen anpassen und alle meine Infos raus nehmen!
  Danke!
  Anhänge
  
  text/html
  85 lines
  test.html
pq

2013-09-06 13:58

User since
2003-08-04
12208 Artikel
Admin1

Verschoben von Installation und Konfiguration nach Allgemeines zu Perl
Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
+6 replies

Linuxer

2013-09-06 14:03

User since
2006-01-27
3890 Artikel
HausmeisterIn

user image

Auch wenn's nur ein einfaches HTML ist, ist HTML eigentlich nicht regulär genug für Reguläre Ausdrücke.
Nun baut man für das gegebene Beispiel einen Regex auf und der funktioniert auch für das Beispiel.
Dann kommt eine Variation der Quelldaten ins Spiel und der Regex passt nicht mehr; hat man ihn dann angepasst, kommt die nächste Variation, etc. ...

Wenn Du die HTML-Tags eh nicht interessant findest und mit Zeichenklassen der Art "[A-Z]" erschlagen willst, lass das doch raus. Beschränke Deinen Regex auf das Wesentliche, was Dich interessiert.

Beispiel:

Code (perl): (dl )

my $line = <<LINE;
<TR class='passed'><TD>CAN signal</TD><TD>'DISP_RQ_GR_GRB' available in Inca.</TD><TD>PASSED</TD></TR>
LINE

# mehrzeiligen Regex mit Kommentaren
my $regex = qr{

  # wir brauchen die verwendete class
  class='([^']+)'

  # dann kommt erstmal uninteressantes (aber bitte sowenig wie moeglich)
  .*?

  # innerhalb einer tabellenzelle zwei strings einfangen
  <TD>'([^']+)'\s*([^<]+)</TD>

}x;  # ENDE Regex


if ( my ($Inca_Vchk, $Inca_Name, $Inca_Comment) = $line =~ $regex ) {
  print $Inca_Vchk, "\n",
    $Inca_Name, "\n",
    $Inca_Comment, "\n",
  ;
}

Aber trotzdem, schau Dir mal einen HTML-Parser und seinen Einsatz an ...

meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!

Lauvia

2013-09-06 14:11

User since
2013-09-05
42 Artikel
BenutzerIn

Dir auch Vielen Dank Linuxer!!
+4 replies

Lauvia

2013-09-10 09:44

User since
2013-09-05
42 Artikel
BenutzerIn
[default_avatar]

Hallo Linuxer,
hatte die Glocken zu früh läuten lassen, bin bei der letzten Prüfung hängen geblieben.

hier mein Code:

Code (perl): (dl )

while (my $line = <$read_handle>)
{

                my $Inca_Name;
                my $Inca_Vchk;
                my $Inca_Comment;
        #--------------------------------------------------------------------
        #    Variable check bloc
        #--------------------------------------------------------------------
        if ($line =~ /class\=/ and $line =~ /CAN signal/)                       
        {
                #my %VarCheck;
                #my $Inca_Name;
                #my $Inca_Vchk;
                #my $Inca_Comment;
                
                #-----collect Signal Informations-----------------------------------    
            ($Inca_Vchk, $Inca_Name, $Inca_Comment)= 
                $line =~  /^<[A-Z]+\s+[a-z]+\=\'([a-z]+)\'><[A-Z]+>[^0-9]+<\/[A-Z]+><[A-Z]+>\'([a_zA-Z0-9_]+)\'\s+([^0-9]*?)<[^0-9]+/;  
                
                #$VarCheck{'INCA_NAME'} = $Inca_Name;
                #$VarCheck{'INCA_VCHK'} = $Inca_Vchk;
                #$VarCheck{'INCA_COMMENT'} = $Inca_Comment;
                #$VarCheck{'SIGNAL'} = \@Signals;
                push(@Sig_Incadata, $Inca_Vchk, $Inca_Name, $Inca_Comment);
                
                print "Variable Check:\n\n$Inca_Vchk  $Inca_Name  $Inca_Comment\n\n";    # 1. Prüfstelle
        }
        #--------------------------------------------------------------------
        #   END Variable check bloc
        #--------------------------------------------------------------------
        
        #--------------------------------------------------------------------
        #    Bus resolution check bloc
        #--------------------------------------------------------------------
        if ($line =~ /class\=/ and $line =~ /ECU internal variable/)   
        {
                my $Int_Vchk;
                my $Int_Name;
                my $Int_Comment;
                
        #-----collect Signal Informations-----------------------------------            
                my $regexp = qr                         
                        {
                                class='([^']+)'.*?<TD>'([^']+)'\s*([^<]+)</TD>
                        }x;  # ENDE Regexp
                        
                ($Int_Vchk, $Int_Name, $Int_Comment) =  $line =~ $regexp;
                push(@Sig_Intdata, $Int_Vchk, $Int_Name, $Int_Comment);
                        
                print "Resolution Check:\n\n$Int_Vchk $Int_Name  $Int_Comment \n\n";    # 2. Prüfstelle
        }
        
        #--------------------------------------------------------------------
        #    END Bus resolution check bloc
        #--------------------------------------------------------------------
        
        #--------------------------------------------------------------------
        #    Signal conversion check bloc
        #--------------------------------------------------------------------
         if ($line =~ /class='/ and ($line !~ /ECU internal resolution/)and ($line =~ /$Sig_Incadata[1]/) 
          and ($line =~ /\d+/))
        {
                
                my $Sig_ConChk;
                my $Sig_ConCom;
                my $Bus_Value;
                my $Ecu_Value;
                my $deviation;
                
        #-----collect Signal Informations-----------------------------------
                my $regexp = qr                         
                        {
                        class='([^']+)'.*?<TD>(\d+)[^']+<TD>(\d+)<\/TD><TD>(\d+)<\/TD><TD>([^']+)</TD>
                        }x;  # ENDE Regexp  (Problem liegt sicherlich hier)
                
                        ($Sig_ConChk, $Bus_Value, $Ecu_Value, $deviation, $Sig_ConCom)= $line =~ $regexp;
                
                push(@table, $Sig_ConChk, $Bus_Value, $Ecu_Value, $deviation, $Sig_ConCom);
                
                print "Test:\n\n@Sig_Incadata\n@Sig_Intdata";
                print "$table[1]\n";  # 3. Prüfstelle
        
        }       
        
        #--------------------------------------------------------------------
        #   END Signal conversion check bloc
        #--------------------------------------------------------------------
        
        
}

<>;

Ohne Signal Conversion Bloc funktioniert das Skript, deswegen bin ich mir fast sicher der Ausdruck in der Zeile 74 nicht stimmt. Wie hättest du ihn geschrieben?

PS: html Muster habe ich hochgeladen!

Anhänge

text/html
85 lines
Test.html

+2 replies
Linuxer

2013-09-10 11:44
User since
2006-01-27
3890 Artikel
HausmeisterIn
Was passiert denn, wenn der Block enthalten ist?
Lediglich nicht das Erwartete? Oder werden Fehler oder Warnungen ausgegeben? Wenn ja welche?

Auffällig bei der relevanten Datentabelle ist, dass da sowohl positive wie auch negative Zahlen auftauchen, mal als Integer, mal als Gleitkommazahl. Das musst Du natürlich berücksichtigen! Wofür steht das /d in einem Regex? Und was soll das [^']+? An einigen Stellen, wo Du das verwendest, erkenne ich dafür keinen Sinn. Weißt Du, wofür das [^']+ steht?

Dringend empfohlene Lektüre:
http://perldoc.perl.org/perlretut.html
http://perldoc.perl.org/perlrequick.html
http://perldoc.perl.org/perlre.html

Setze Dich bitte dringend damit auseinander, wie Regex funktionieren und welche Bedeutung die Zeichen und Konstrukte haben. Es hilft Dir nicht, die Bruchstücke scheinbar ahnungslos aus den gegebenen Code-Beispielen zusammenzuklauben und zusammenzuschmeissen.

Ich hätte den Regex z.B. über mehrere Zeilen erstellt (wie schon zuvor gezeigt), damit bleibt er übersichtlicher und man kann ihm Kommentare und Struktur geben (wie schon mal gezeigt).
Erläuterungen dazu finden sich in der verlinkten Dokumentation.

Sorry, dass ich Dir jetzt mal spontan keinen Code liefer.

Ich würde ein Testskript erstellen, um den Regex aufzubauen:
Code (perl): (dl )

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34

#! /usr/bin/perl use strict; use warnings; use Data::Dumper; $Data::Dumper::Useqq = 1; # Baue den Regex nach und nach auf my $regex = qr{ class='([^']+)' # Klasse einfangen .*? # TODO: Bus value einfangen # TODO: ECU value einfangen # TODO: Deviation einfangen }x; my $i = 0; while ( my $line = <DATA> ) { if ( my @result = $line =~ $regex ) { print Dumper( \@result ); } else { warn "No match for: $line"; } } __DATA__ <TR><TH>Bus Signal</TH><TH>Bus Value</TH><TH>ECU Variable</TH><TH>ECU Value</TH><TH>Deviation</TH><TH>State</TH></TR> <TR class='failed'><TD>TEMP_EX</TD><TD>-40</TD><TD>Com_tEnvT_FA</TD><TD>-38.5</TD><TD>1.5</TD><TD>CONVERSION FAILED</TD></TR> <TR class='failed'><TD>TEMP_EX</TD><TD>-39.5</TD><TD>Com_tEnvT_FA</TD><TD>-38.5</TD><TD>1</TD><TD>CONVERSION FAILED</TD></TR> <TR class='failed'><TD>TEMP_EX</TD><TD>22</TD><TD>Com_tEnvT_FA</TD><TD>-38.5</TD><TD>60.5</TD><TD>CONVERSION FAILED</TD></TR> <TR class='failed'><TD>TEMP_EX</TD><TD>83.5</TD><TD>Com_tEnvT_FA</TD><TD>-38.5</TD><TD>122</TD><TD>CONVERSION FAILED</TD></TR> <TR class='failed'><TD>TEMP_EX</TD><TD>84.5</TD><TD>Com_tEnvT_FA</TD><TD>-38.5</TD><TD>123</TD><TD>CONVERSION FAILED</TD></TR> <TR class='failed'><TD>TEMP_EX</TD><TD>85</TD><TD>Com_tEnvT_FA</TD><TD>-38.5</TD><TD>123.5</TD><TD>CONVERSION FAILED</TD></TR>
Und damit den Regex nach und nach erweitern, bis ich alle Daten extrahieren kann, die ich brauche.
Und dann würde ich den Regex-Code ins eigentliche Programm übertragen.

Ich denke, Du solltest Dir zuerst klar werden, wie Du positive oder negative Integer- oder Gleitkommazahlen mit Regex einfangen kannst. Nutze dazu die oben genannte Dokumentation.
Hinweise finden sich auch in der PerlFAQ 4

Und den Ansatz, dass die interessanten Werte alleine in einer Tabellenzelle stehen, würde ich wohl erstmal weiter nutzen....
meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
- Lauvia
  
  2013-09-10 13:13
  
  User since
  2013-09-05
  42 Artikel
  BenutzerIn
  
  Danke für die Dokus,
  ich werde sie mal lesen.

Lauvia

2013-09-10 13:07

User since
2013-09-05
42 Artikel
BenutzerIn
[default_avatar]

ich habe den Fehler gefunden :-)

Code (perl): (dl )

        #-----collect Signal Informations-----------------------------------
                my $regexp = qr                         
                        {
                        class='([^']+)'[^0-9]+<TD>([^,]+)<\/TD>[^0-9]+<TD>([^,]+)<\/TD><TD>([^,]+)<\/TD><TD>([^']+)</TD>
                        }x;  # ENDE Regexp
                
                        ($Sig_ConChk, $Bus_Value, $Ecu_Value, $deviation, $Sig_ConCom)= $line =~ $regexp;
                
                push(@table, $Sig_ConChk,  $Bus_Value,  $Ecu_Value,  $deviation,  $Sig_ConCom);

View all threads created 2013-09-06 12:50.