Perl, RegExp & HTML (Perl/CGI)

[thread]20198[/thread]

Perl, RegExp & HTML

Tags: perl5 HTML Regular expressions regexp Ähnliche Threads

Leser: 13

Articles: hide open all | hide show old branches

+11 replies

Gast Equipaas

2016-11-29 07:59

Hallo alle zusammen,

ich hoffe, dass ich hier richtig bin mit meiner Frage, sonst bitte moven :-) Danke @ Mod.

Ich habe folgendes Problem: Ich selbst bin noch nicht wirklich tief drin in Perl und habe auch nicht genug Zeit im Moment, um mir die Sprache komplett beizubringen.
Allerdings arbeite ich momentan mit einem Kollegen zusammen an einem kleinen Skript, mit welchem wir Daten von unserer HP auslesen wollen - dabei geht es um eine Menge Datenbank-Inhalte. Das Skript basiert auf Perl und arbeitet mit Regular Expressions - soweit so gut.

Wir haben jetzt auch schon das Meiste fertig, allerdings hängen wir noch an einem Punkt: An einer Stelle soll das Skript aus dem Quellcode (liegt als .aspx bzw. .html vor) eine Tabelle auslesen und ausgeben. Das Problem: innerhalb der Tabelle sind viele "Platzhalter" in HTML geschrieben - diese sollen allerdings nicht mit exportiert werden. Am Ende soll nur Klartext in eine CSV wandern.

Ein Beispiel:

Code: (dl )

 <table width="100%" border="0" cellspacing="0" cellpadding="0">
            <tr>
               <td width="98%">
                  <table width="100%" border="0" cellspacing="0" cellpadding="0">
                     <tr>
                        <td width="0%"><img src="../images/spacer.gif" width="5" height="22" alt="" /></td>
                        <td width="50%"><b>Unternehmen:</b></td>
                        <td width="0%"><img src="../images/spacer.gif" width="5" height="22" alt="" /></td>
                        <td width="50%"><b>Konzern:</b></td>
                        <td width="0%"><img src="../images/spacer.gif" width="5" height="22" alt="" /></td>
                     </tr>
                    <tr>
                        <td width="0%"><img src="../images/spacer.gif" width="5" height="22" alt="" /></td>
                        <td width="50%">Hinz und Kunz AG</td>
                        <td width="0%"><img src="../images/spacer.gif" width="5" height="22" alt="" /></td>
                        <td width="50%"></td>
                        <td width="0%"><img src="../images/spacer.gif" width="5" height="22" alt="" /></td>
                     </tr>
                  </table>
               </td>
            </tr>
            <tr id="showUnternehmen187_Content" style="display:none">
               <td valign="top">
                  <table width="100%" border="0" cellspacing="0" cellpadding="0" bgcolor="White">
                   <tr>
                    <td bgcolor="#CCCCCC" class="HeaderShadow"><img src="../images/spacer.gif" width="10" height="5"></td>
                   </tr>                  
                  </table>                  
                  <table width="100%" border="0" cellspacing="0" cellpadding="0" bgcolor="White">
                     <tr>
                        <td height="26" width="0%"><img src="../images/spacer.gif" width="10" height="5" alt="" /></td>
                        <td height="26" width="100%" valign="middle">
                            <b>Branche:</b>
                        </td>
                        <td height="26" width="0%"><img src="../images/spacer.gif" width="5" height="5"></td>
                     </tr>
                      <tr>
                          <td height="26" width="0%">
                              <img src="../images/spacer.gif" width="10" height="5" alt="" />
                          </td>
                          <td height="26" width="0%">
                              
                                      Baugewerbe<br />
                                  
                          </td>
                          <td height="26" width="0%">
                              <img src="../images/spacer.gif" width="5" height="5"/>
                          </td>
                      </tr>
                     <tr>
                         <td height="26" width="0%">
                             <img src="../images/spacer.gif" width="10" height="5" alt="" />
                         </td>
                         <td height="26" width="100%" valign="middle">
                             <b>Position:</b>
                         </td>
                         <td height="26" width="0%">
                             <img src="../images/spacer.gif" width="5" height="5" />
                         </td>
                     </tr>
                      <tr>
                          <td height="26" width="0%">
                              <img src="../images/spacer.gif" width="10" height="5" alt="" />
                          </td>
                        <td height="26" width="0%">
                            
                                    <table width="100%">
                                        <tr>
                                            <td>
                                                &nbsp;
                                            </td>
                                            <td valign="top">
                                                <table>
                                                    <tbody>
                                                        <tr>
                                                            <td style="width:175px" colspan="3">
                                                                <b>Zeitraum</b>
                                                            </td>
                                                            <td style="width:175px">
                                                                <b>Position</b>
                                                            </td>
                                                        </tr>
                                                        <tr>
                                                            <td>
                                                                03.2010
                                                            </td>
                                                            <td>&nbsp;-&nbsp;</td>
                                                            <td>
                                                                bis Heute
                                                            </td>
                                                            <td>
                                                                Geschaftsführerin
                                                            </td>
                                                        </tr>
                                                    </tbody>
                                                </table>
                                            </td>
                                            <td valign="top">
                                                <table>
                                                    <tbody>
                                                        <tr>
                                                            <td style="min-width: 150px;">
                                                                <b>Tätigkeitsbereiche</b>
                                                            </td>
                                                        </tr>
                                                        <tr>
                                                            <td style="min-width: 150px;">
                                                                
                                                                        Management / Geschäftsführung<br />
                                                                    
                                                                <br />
                                                            </td>
                                                        </tr>
                                                    </tbody>
                                                </table>
                                            </td>
                                        </tr>
                                    </table>
                                
                        </td>
                        <td height="26" width="0%"><img src="../images/spacer.gif" width="5" height="5"></td>
                     </tr>
                  </table>
               </td></tr>
         </table>

Am Ende soll in der CSV (egal ob in einer Zelle oder mehreren) der Inhalt einfach wie nachfolgend drin stehen:
Unternehmen: Hinzu und Kunz, Branche: XY, Zeitraum: X bis Y, Position: CEO, Tätigkeit: YXU

Hat jemand hierzu eine Idee? Das ist unser aktueller Versuch (wir erhalten zwar einen Export, allerdings mit vielen HTML-Fetzen und viel zu viel Platzhaltern, breaks, space, etc.

Code: (dl )

$i=0;
for ($x=0;$x<30;$x++) { $Arbeit[$x]=""; }

while ($daten =~ /<div id="ctl00_ContentPlaceHolderText_objPageUnternehmen" class="rmpHiddenView">(.*)<\/div>/sg) {
		
$tmp = $1;
$tmp =~ s/<.*?>//g;
print $tmp;
		
if ($tmp =~ /([A-Za-z0-9 öäü.&;-]+)/s) {
	$Arbeit[$i] = $1;
	$i++;
 }	
}

Für Hilfe wären wir echt dankbar :-)
Ich hoffe, dass die Fragen wenigstens einigermaßen verständlich ist O.o

Beste Grüße
Equipaas
Last edited: 2016-11-29 08:27:04 +0100 (CET)

Crian

2016-11-29 12:14

User since
2003-08-04
5868 Artikel
ModeratorIn

Sinnvoll wäre dazu wohl ein HTML-Parser, der euch die Arbeit abnimmt, die ganzen Formatierungen vom Inhalt zu trennen.

Möglich wäre es auch, Lynx die Seite ausgeben zu lassen.

Welche Perl-Module da in Frage kommen, weiß ich leider gerade nicht, da ich nicht mehr aktiv mit Perl arbeite. Aber da gibt es ganz sicher etwas empfehlenswertes.
s--Pevna-;s.([a-z]).chr((ord($1)-84)%26+97).gee; s^([A-Z])^chr((ord($1)-52)%26+65)^gee;print;

use strict; use warnings; Link zu meiner Perlseite
+3 replies
clms

2016-11-29 17:04

User since
2010-08-29
373 Artikel
BenutzerIn

In solchen Fällen empfiehlt es sich (fast) immer ein passendes CPAN-Modul zu nehmen, dass das Eingabeformat parst und in eine leicht zugängliche Datenstruktur verwandelt. Bei HTML habe ich da in der Vergangenheit mit HTML::TreeBuilder immer gute Erfahrungen gemacht.

HTML::TreeBuilder setzt auf HTML::Parser auf, d.h. Du bekommst einen ausgereiften Parser, der auch Sonderfälle etc. abdeckt. Wenn du da mit Regex selbst etwas hackst, ist das viel unnütze Arbeit und Du fliegst schnell auf die Schnauze.

Auch bei der Ausgabe kann ein Module von CPAN hilfreich sein, um z.B. das Escapen der Strings im CSV zu übernehmen. (Was machst Du z.B. wenn Du ein Komma als Separator verwendest und ein Unternehmen plötzlich "Hinz, Kunz & Cie." heißt?)
Meist ist es bei der Ausgabe aber nicht ganz so essentiell wie bei der Eingabe, da man hier die Ausnahmen besser im Griff hat.

Ein konkretes Modul für die CSV-Ausgabe kann ich Dir nicht nennen, weil mir hier die Erfahrung fehlt.
- +2 replies
- equipment-studios
  
  2016-12-13 12:09
  
  User since
  2016-12-13
  1 Artikel
  BenutzerIn
  
  Erstmal an alle vielen Dank!
  
  @clms: Habe mal versucht mit dem HTML:TreeBuilder das zu machen, erwies sich aber für einen Anfänger immer noch als sehr komplex. Falls du im TreeBuilder aktuell bewandert bist, würde ich mich da noch über etwas Unterstützung freuen :-)
  Leider haben wir einen engen Zeitplan und sind schon viel zu nah an der Deadline, weshalb wir auch gerne auf Mailkontakt wechseln können, falls dir das passt.
  
  Beste Grüße
  Equipaas
  Last edited: 2016-12-13 12:32:21 +0100 (CET)
  - clms
    
    2016-12-13 14:09
    User since
    2010-08-29
    373 Artikel
    BenutzerIn
    
    Jetzt vor Weihnachten habe ich zwar auch wenig Zeit, aber ich kann Dir gerne helfen.
    
    Wie weit bis Du mit dem TreeBuilder schon gekommen? Wo brauchst Du noch Hilfe?
    Kannst Du Deinen HTML-Input einlesen und bekommst die gewünschte Tree-Struktur? Oder gibt das schon Probleme?
    (Zum Überprüfen kannst Du Dir $tree->as_HTML anschauen. Hat das ausreichend Ähnlichkeit mit Deinem Input? Sind alle benötigten Informationen noch enthalten?)
    
    Im zweiten Schritt musst Du dann die benötigten Informationen aus dem HTML-Tree ziehen. Hier ist $tree->look_down(...) aus HTML::Element Dein Freund.
    
    Wobei: Dein Beispiel sieht nach ziemlich unstrukturierten ineinander geschachtelten Taballen aus, die leider auch nur wenige ID du CLASS-Attribute haben, die die Orientierung erleichtern.
    Da könnte man als Zwischenschritt erstmal aufräumen, z.B. alle komplett leeren Tabellen entfernen und die Tabellenzellen mit width="0%". Folgender ungetesteter Code könnte das schaffen:
    
    Code (perl): (dl )
    
    1 2 3 4 5 6
    
    foreach my $tab ($tree->look_down(_tag => "table")) { # alle Tabellen next if $tab->as_text; # Inhalt? => weiter $tab->delete; # kein Text => löschen } # alle <td width="0%" ...> löschen $_->delete foreach $tree->look_down(_tag => "td", width => "0%");
    
    Danach prüf zum Debuggen einmal mit print ... $tree->as_HTML, ob noch alles stimmt.
+5 replies
Gast janus

2016-11-30 07:43

Idealerweise werden Daten, die maschinenlesbar sein sollen, auch in einer maschinenlesbaren Datei != HTML bereitgestellt bzw, als Response gesendet. HTML parsen -- schön und gut, aber die Zweckbestimung von HTML ist die Darstellung im Browser und wenn sich der Designer mal vertippt hat greift auch der Parser ins Leere.

Also: Wenn auf Beiden Seiten Perl zum Einsatz kommt, könntest Du die Daten serverseitig mit Storable::freeze() serialisieren und clientseitig mit Storable:thaw() exact dieselbe Datenstruktur wieder herstellen.

Für Tabellarische Daten empfielt sich ein Array mit Hashreferenzen [{},{},{}...] und daraus eine CSV-Datei zu erzeugen ist nur eine Frage der richtigen Template-Engine, selbst das gute alte sprintf() würde das schon tun.

Und zu guter Letzt: Statt HTML die Daten gleich als CSV zu senden wäre auch eine Überlegung wert.
Last edited: 2016-11-30 08:33:35 +0100 (CET)
- +4 replies
- clms
  
  2016-11-30 15:11
  
  User since
  2010-08-29
  373 Artikel
  BenutzerIn
  
  Guest janus
  Idealerweise werden Daten, die maschinenlesbar sein sollen, auch in einer maschinenlesbaren Datei != HTML bereitgestellt bzw, als Response gesendet. HTML parsen -- schön und gut, aber die Zweckbestimung von HTML ist die Darstellung im Browser und wenn sich der Designer mal vertippt hat greift auch der Parser ins Leere.
  
  Wenn - wie im konkreten Fall - die Daten aus einer Datenbank kommen, wäre ein direkter Zugriff auf diese Datenbank theoretisch die einfachste Lösung.
  
  In der Praxis hat man aber sehr häufig den Fall, dass direkter Zugriff auf die Datenbank oder auch nur eine Änderung des Programms, das die Datenbank ausliest, nicht möglich ist. Sei es, dass das ein Third-Party-Tool ist, sei es das einfach "Never touch a running system" gilt.
  
  Der ohnehin vorhandene Log-File oder HTML-Report sind dann oft die einzigen zugänglichen Datenquellen. Der HTML-Report ist in solchen Fällen maschinenlesbar. Er ist zumindest rudimentär strukturiert und Dein Argument "wenn sich der Designer mal vertippt" läuft ins Leere. Da gibt es keinen Designer, der sich vertippen könnte. Das Ding ist automatisch erstellt.
  - +3 replies
  - Gast janus
    
    2016-11-30 17:45
    
    2016-11-30T14:11:16 clms
    Guest janus
    Idealerweise werden Daten, die maschinenlesbar sein sollen, auch in einer maschinenlesbaren Datei != HTML bereitgestellt bzw, als Response gesendet. HTML parsen -- schön und gut, aber die Zweckbestimung von HTML ist die Darstellung im Browser und wenn sich der Designer mal vertippt hat greift auch der Parser ins Leere.
    
    Wenn - wie im konkreten Fall - die Daten aus einer Datenbank kommen, wäre ein direkter Zugriff auf diese Datenbank theoretisch die einfachste Lösung.
    
    In der Praxis hat man aber sehr häufig den Fall, dass direkter Zugriff auf die Datenbank oder auch nur eine Änderung des Programms, das die Datenbank ausliest, nicht möglich ist. Sei es, dass das ein Third-Party-Tool ist, sei es das einfach "Never touch a running system" gilt.
    
    Der ohnehin vorhandene Log-File oder HTML-Report sind dann oft die einzigen zugänglichen Datenquellen. Der HTML-Report ist in solchen Fällen maschinenlesbar. Er ist zumindest rudimentär strukturiert und Dein Argument "wenn sich der Designer mal vertippt" läuft ins Leere. Da gibt es keinen Designer, der sich vertippen könnte. Das Ding ist automatisch erstellt.
    
    Ein HTML-Template ist i.d.R. Handarbeit. Aber wenn HTML ohnehin automatisch erstellt wird, dürfte es kein Problem sein, die Daten auch anderweitig zu senden. HTML zu parsen ist Unsinn, so oder so.
    Last edited: 2016-11-30 18:01:07 +0100 (CET)
    - +2 replies
    - clms
      
      2016-12-01 00:40
      
      User since
      2010-08-29
      373 Artikel
      BenutzerIn
      
      Guest janus
      Ein HTML-Template ist i.d.R. Handarbeit.
      
      Ja, das Template! Aber das wird nur einmal erstellt. Darauf muss man sich entsprechend nur einmal adaptieren. Das stört die Daten-Extraktion nicht. Problematischer wäre es, wenn die finale HTML-Seite jedes mal komplett von Hand erstellt würde und sich dabei immer kleine Fehler und Abweichungen einstellen. Aber das ist fast nie der Fall.
      
      Guest janus
      Aber wenn HTML ohnehin automatisch erstellt wird, dürfte es kein Problem sein, die Daten auch anderweitig zu senden.
      
      Es kommt darauf an, von wem das HTML erstellt wird. Wenn es Dein Skript ist, hast Du recht. Wenn es ein fremdes Programm ist, hast Du i.d.R. keine Chance, dieses zu ändern. Dann bist Du froh, dass Du mit dem HTML ein halbwegs strukturiertes Ausgabeformat hast, das die gewünschten Informationen enthält.
      - Gast janus
        
        2016-12-01 07:13
        
        Moin ;)
        
        Dass dieses HTML invalide ist und insbesondere die Tab-Elemente, völlig deprecated sind, ist hier wohl keinem weiter aufgefallen!?
        
        Btw.: Ich kannte mal einen Programmierer, der schrieb Unit-Tests für seine Webanwendungen. Und er machte bspw. einen erfolgreichen Login automatisch getestet daran fest, dass in der HTMl-Response ein bestimmtes CSS eingebunden ist. Verbunden mit einer unzulänglichen Fehlerbehandlung ist er damit fürchterlich auf die Fresse gefallen, weil sein Designer irgendwann einmal den Namen der CSS-Datei geändert hat. Der Unit-Test lief über Nacht und die sich daran anschließende Fehlersuche dauerte Stunden...
        
        Fazit: Kannst mir glauben, wenn ich hier was Poste, stecken immer auch ein paar praktische Erfahrungen drin.
        Last edited: 2016-12-01 08:57:28 +0100 (CET)
Raubtier

2016-11-30 11:24

User since
2012-05-04
1075 Artikel
BenutzerIn

Alternativ kannst du dir auch mal Mojo::DOM anschauen.

View all threads created 2016-11-29 07:59.